El robot.txt., un modelo estándar creado en 1994, establece una norma para que aquéllos que diseñen un robot de rastreo de datos en la red tenga conocimiento de las páginas que, por exigencia del webmaster, no deban ser rastreadas y extraída su información por esos robots.

Google activó la opción de utilizar comodines (símbolo ‘ * ‘) para indicar claramente los ficheros que no deben ser rastreados por el robots del buscador hace ya algún tiempo, según apunta seobooks.com.

De este modo, se le puede ordenar a Googlebot que no indexe un fichero cuyo nombre incluya una determinada extensión como pueda ser «.gif» con indicarle lo siguiente:

User-agent: Googlebot

Disallow:/*.gif

1 estrella2 estrellas3 estrellas4 estrellas5 estrellas (Ninguna valoración todavía)
Cargando…