Los webmasters limitarán los rastreos del robot de Google

El buscador informará de las páginas que no deben ser indexadas por los robots de rastreo de Internet

El robot.txt., un modelo estándar creado en 1994, establece una norma para que aquéllos que diseñen un robot de rastreo de datos en la red tenga conocimiento de las páginas que, por exigencia del webmaster, no deban ser rastreadas y extraída su información por esos robots.

Google activó la opción de utilizar comodines (símbolo ' * ') para indicar claramente los ficheros que no deben ser rastreados por el robots del buscador hace ya algún tiempo, según apunta seobooks.com.

De este modo, se le puede ordenar a Googlebot que no indexe un fichero cuyo nombre incluya una determinada extensión como pueda ser ".gif" con indicarle lo siguiente:

User-agent: Googlebot

Disallow:/*.gif