Con este artículo, en Webpositer damos comienzo a una nueva serie de consejos SEO donde se analizan aquellos aspectos que dificultan el óptimo posicionamiento de una web en los buscadores. La primera parada tiene como protagonista los problemas de indexación o, dicho de otro modo, las dificultades con las que se enfrenta una web para que los robots de Google, Yahoo! o Bing lleguen a su sitio, descubran una página y la incluyan en los resultados de búsqueda. En ocasiones, ese descubrimiento tarda en producirse o no logra hacerse efectivo nunca. ¿Por qué? ¿Qué impide que una página se indexe? Y, lo más importante, ¿hay soluciones ante semejante problema?

Seamos francos: Las dificultades de indexación suponen un verdadero obstáculo para el trabajo de posicionamiento web que día a día realizamos. Por esta razón, es importante detectarlos a tiempo, actuando con firmeza y determinación cuanto antes. Para que dispongas de toda la información necesaria para enfrentarte a este dilema con todas tus armas, a continuación se identifican las causas y se plantean soluciones para conseguir que la indexación de las páginas de tu sitio web sea un HECHO y no un quebradero de cabeza. ¡Lancémonos ya a la aventura!

¿Qué me ayuda a indexar óptimamente las páginas que componen mi web?

En la indexación de las páginas de tu web, hay tres grandes aliados que pueden reportarte efectivas respuestas. Conócelos, cuídalos y dedícales siempre tu valioso tiempo en cada acción de optimización web que desarrolles.

Enlaces, una de las joyas de la corona

Las URLs de cualquier sitio web funcionan empleando links. En la labor de rastreo de los buscadores, Googlebot – el robot-araña de Google – usa las URLs de estos enlaces para determinar de qué páginas debe seguir tomando datos y cuáles ha de obviar. Para optimizar al máximo este proceso, de nada sirve que los documentos que componen nuestras páginas estén estructurados claramente, sino que han de ofrecer enlaces entre ellos evitando que algún documento quede fuera del alcance de los spiders. Un consejo: Si creas un mapa de contenidos donde se incluyan todos los contenidos que componen tus páginas, te resultará mucho más fácil diseñar un camino corto y eficiente que mejore al máximo la labor de indexación.

Sitemaps.xml, dando pistas.

A modo de definición, el Sitemap es un archivo XML que confeccionan los webmasters para informar a los buscadores de las páginas que se pueden rastrear en su sitio web. En esta suerte de listado de URLs también tienen cabida otros datos adicionales pero importantes como su última actualización, frecuencia de modificación o grado de relevancia. Con toda esta información los motores de búsqueda cuentan con datos valiosos para hacer un rastreo de la web mucho más eficiente. Aunque no es la panacea, sin duda, proporciona sugerencias importantes para mejorar el trabajo de rastreo e indexación de las páginas. 

¿Conoces la estructura de un archivo Sitemap.xml? Es muy sencilla y siempre responde al mismo esquema. Toma nota: Una vez creado, ubícalo en tu servidor y registra el fichero Sitemap.xml en el panel de Herramientas para Webmasters de Google.

Archivo Sitemaps.xml

Robots.txt, marcando la pauta

Hablamos en este caso de un archivo de texto plano donde se especifican algunas indicaciones para que los robots spiders cumplan cuando visiten y rastreen nuestro sitio web. Importante: Es solo una recomendación, no una obligación. 

Directiva de archivo Robots.txt

En la confección del archivo robots.txt, podemos acumular varios Disallow bajo un mismo User-agent, pero no al contrario. Es más, la presencia de este fichero proporciona multitud de beneficios, entre ellos, impedir el acceso a robots determinados, evitar la sobrecarga del servidor, prohibir zonas o eliminar la duplicidad de contenido. Puedes ver un ejemplo de fichero robots.txt aquí.

Ejemplo de fichero robots.txt

Las páginas de mi web no se indexan. ¿Dónde puede estar el origen del mal? Analizando 20 posibles motivos, aportando 20 soluciones.

Si por más que analizas y piensas, no encuentras explicación alguna a lo mucho que tarda Google en indexar las páginas de tu sitio web, ahora compartimos contigo algunos de los motivos más habituales.

1-. Error en el archivo robots.txt.

¿Confías al 100% en su correcta configuración? Te recomendamos que le eches un vistazo con detalle porque puedes haber marcado unas indicaciones a las arañas que estén prohibiendo la entrada a páginas que sí te interesa que sean cacheadas. Un pequeño despiste puede desencadenar que Google no indexe nuestro sitio, con lo que ello supondría para el posicionamiento en buscadores de nuestra web. Al igual que no existe una directiva Allow que facilite la indexación, una directiva incompleta como Disallow: / estaría bloqueando el acceso de Google a toda la página, cuando esta acción no es la que buscas.

¿Quieres evitar problemas? Te aconsejamos que hagas uso de esta herramienta de validación del fichero robots. Una gran ayuda, sin duda. A continuación, puedes ver el registro del archivo robots.txt en Herramientas para Webmasters en Google.

Análisis de Robots.txt en Herramientas para Webmasters de Google

2-. Configuración errónea del archivo .htaccess.

Propio de los servidores Linux y encargado de manejar redirecciones y reescrituras de URLs en sitios dinámicos. Es una herramienta útil y muy apreciada en posicionamiento en buscadores. Sin embargo, un pequeño error de sintaxis también puede influir de manera catastrófica en la indexación del sitio. Debemos revisarlo y corroborar que no incluye:

  • Redirecciones infinitas
  • Redirecciones con demasiados pasos
  • Redirecciones de páginas que nos interesan indexar y no secciones completas del sitio

3-. Parámetros de URLs incorrectos en Webmasters Tools de Google.

¿Tienes una tienda online y sus URLs dinámicas cuentan con muchos valores obstruidos? Se pueden ocultar en los resultados de búsqueda de dicha sección. Sin embargo, si colocamos mal alguna variable, ese error puede derivar en la desaparición de buena parte de las páginas en los resultados de Google, perdiendo las posiciones alcanzadas.

Desde el panel de Herramientas para Webmasters de Google detectarás si la cantidad de páginas enviadas es mayor a las indexadas, en cuyo caso algo no funciona como debería. Corrige tu archivo sitemaps.xml y envíalo a Google Webmasters Tools para que conozca la actualización y la tenga presente en sus tareas de rastreo.

Sitemaps herramientas para webmasters de Google

4-. Uso de códigos de programación «problemáticos».

Javascript, Flash, Frames y Ajax son los causantes de multitud de problemas de indexación. Prácticamente invisibles para los motores de búsqueda, muchas de las secciones de las webs programadas con estos lenguajes son inaccesibles y sus contenidos no logran indexarse correctamente afectando gravemente al posicionamiento de la web, ya que no responden a la fórmula una página/una URL.

5-. Falta de enlaces externos.

Los enlaces procedentes de otros dominios son identificados por Google como votos de confianza hacia tu web. Si el buscador de buscadores detecta que no tienes enlaces externos, tardará más en indexar las páginas de tu sitio web. Como señal de relevancia y popularidad, es muy recomendable que desde las redes sociales se enlace a tu web tanto en perfiles personales como en páginas propias creadas en Facebook o Twitter.

6-. Evita los contenidos reservados.

Googlebot no consigue llegar a páginas con contenidos provistos de contraseñas, formularios o acciones que no se acceda a ellas a través de un enlace directo. ¿La solución? Diseñar páginas estáticas que Google logre encontrar e indexar fácilmente sin hacer ninguna acción especial.

7-. Lo gratuito no siempre es una ventaja.

Los sitios gratuitos son identificados por Google como dominios spammers, impidiendo su indexación. El ahorro de unos euros puede repercutir en una pérdida importante de posiciones y una inversión de esfuerzo tirada por la borda. Nuestro consejo es que construyas tu web sobre un dominio propio en un alojamiento de pago de confianza.

8-. ¿Dirección IP baneada?

Si tu web está alojada en una ubicación cuya dirección IP ha sido utilizada por sitios spammers, no será accesible. Lo mejor siempre será disponer de una IP propia para tu sitio web.

9-. Apuesta por las URLs amigables.

Las páginas dinámicas pueden contener parámetros con caracteres especiales que se presentan como un freno importante en el trabajo de indexación de Google. Es más, muchas de estas URLs son generadas automáticamente por el sistema o bien, son tantas las páginas, que Google solo indexa las que estima más relevantes, considerando muchas de ellas como contenido duplicado.

Para evitar problemas de indexación, una solución ideal pasa por la construcción de direcciones simples y sencillas como, por ejemplo: http://www.estoesunejemplo.com/como-posicionar-una-web-en-google.html

10-. ¿Tus contenidos no se indexan?

Si los textos de nuestras páginas se encuentran dentro de imágenes, animaciones en Flash o applets en Javascript, es recomendable proveer de contenido válido en formato texto o bien plasmándolo en documentos que Google sí indexa como archivos PDF.

11-. Metatags vacíos.

Si las etiquetas del title o la description no tienen contenido ninguno, Google puede obviar tu página. Para curarte en salud, lo adecuado sería revisar todas las metatags de tu web para corroborar no solo que están cumplimentadas correctamente, sino que son únicas para cada página.

12-. Warning!! Cuidado con la etiqueta Meta Robots.

Su funcionamiento es el mismo que el archivo robots.txt pero actúa solo en la página y no en todo el sitio web. Responde a la siguiente sintaxis:

Sintaxis metarobots

En páginas dinámicas, no es de extrañar encontrarnos variables como «noindex,follow» o «noindex,nofollow» en esta etiqueta, lo que provocaría que esta página no logre ser indexada.

13-. Páginas demasiado largas, un gran handicap.

Con una conexión lenta y multitud de páginas a indexar, Google puede dar una respuesta negativa y no hacer caso a nuestros contenidos. En este caso, lo óptimo será escoger las páginas más relevantes, limitando su tamaño. Además de conseguir la indexación, el tiempo de carga de las páginas mejorará y el usuario disfrutará más de la navegación y experiencia de visita de la web.

14-. Respuestas rápidas, por favor.

¿Google hace una consulta y tu web no responde al instante por problemas de servidor o comunicaciones? Generalmente, Google vuelve a hacer la consulta, pero no se garantiza. Asimismo, si una página fue indexada pero tras un tiempo no responde, ésta puede ser eliminada de su índice de resultados.

15-. Deja de hacer spam.

¿Has practicado alguna vez tácticas propias del black hat?¿Haces spam en tu página? Si la respuesta a ambas preguntas es afirmativa, tienes todas las papeletas para no ser indexado por Google. Compórtate debidamente y empieza de cero con un dominio nuevo.

16-. El dilema de las redirecciones.

Los códigos de refrescamiento o redirecciones pueden ocasionar problemas de indexación. De hecho, buscadores como Bing no indexan páginas con redirecciones 302 porque, al ser temporales, entienden que su duración será limitada. Es más, en ocasiones interpreta el uso de las redirecciones como intentos de engañar al sistema, ocultando determinados contenidos. Solo ha de utilizarse cuando efectivamente tu web estará offline por un tiempo o deseas redirigir tus visitas hacia otra página. No juegues con fuego y ten siempre presente que, si tu redireccionamiento es permanente, apuesta por una redirección 301.

17-. Enlaces rotos y problemas de navegación.

Como tarea obligada en tu agenda, periódicamente se ha de revisar la web para detectar posibles enlaces rotos – son un obstáculo absoluto para Googlebot -, y optimizar la navegación por la página. Analiza si faltan enlaces hacia la página de inicio de tu web en todas las páginas o si los menús de navegación están en Flash… Intenta corregirlo para favorecer la indexación.

18-. El contenido irrelevante no sirve de nada.

Si el contenido que aparece en alguna sección de tu web no es relevante o incluso es duplicado, Google no le hará ni caso y, por supuesto, dirá NO a su indexación. Trabaja en unos contenidos de interés para el usuario. Y no solo esto. Si tu web tiene muchas páginas, seguramente Google solo tendrá en cuenta aquellas más importantes. Realiza contenidos novedosos y que aporten valor a páginas que todavía no han sido indexadas, puede ser una buena idea para dotar de vida y actividad a páginas que se creían olvidadas.

19-. ¿Sabes si Google llega a tu sitio web?

Desde las Herramientas para Webmasters de Google podemos conocer los errores de rastreo registrados, una ayuda imprescindible para saber por qué Google no llega a nuestro sitio web. Pon en marcha la revisión de esos errores y corrígelos. Asimismo, y como se ha comentado anteriormente, recuerda analizar el archivo robots.txt por si contiene directivas inválidas que bloquean el paso de Google.

20-. Utiliza las técnicas SEO en tus imágenes.

Lejos de nombrar a las imágenes de tu web como IMG2.jpg, emplea palabras claves que describan su contenido como, por ejemplo, muebles-oficina.jpg si tu web es de mobiliario profesional. Aplica la misma norma para la etiqueta ALT de las imágenes de tu web. Esta sencilla acción mejorará su indexación al tiempo que potenciará su posicionamiento.

Identificados los problemas de indexación más comunes, ¿a qué esperas para detectar si en alguno de ellos está la causa que está impidiendo que Google entre en tu web y rastree sus páginas? Éste es el momento de ponerte manos a la obra trabajando, sin prisa pero sin pausa, en la optimización de tu web.

Si esta ayuda no ha sido suficiente y precisas de asistencia personalizada, no lo olvides. En Webpositer estamos para ayudarte porque nuestro mayor reto hoy es contribuir a tu éxito mañana. ¿Cuándo empezamos?

Artículos Relacionados:

Los mejores amigos del SEO: El Título

Los mejores amigos del SEO: La Description

Los mejores amigos del SEO: La etiqueta rel=»canonical»

Los mejores amigos del SEO: Las palabras claves o keywords

Los mejores amigos del SEO: Herramientas para webmasters de Google

Los mejores amigos del SEO: Google Analytics