Cómo programar rastreos en Screaming Frog para que se ejecuten en modo automático

¿Imaginas disponer de una herramienta que te permita programar rastreos de toda una web de forma automática mientras estás realizando otras tareas?

Este gran aliado se llama Screaming Frog SEO Spider, el talismán clave en la labor diaria de cualquier analista digital por su capacidad para aportar datos esenciales en auditorías SEO con un importante ahorro de tiempo.

En este vídeo, nuestro compañero Miguel Pau (@miguelpau) se adentra en una de las funcionalidades imprescindibles de esta herramienta de análisis SEO: la automatización de crawleos tras configurar Screaming Frog con los parámetros que deseas que la herramienta cumpla al realizar dicho rastreo.

Todos los pasos que Miguel muestra en el vídeo los podrás aplicar si cuentas con la versión de pago de la herramienta con un uso ilimitado de URL a rastrear.

¿Trabajas con la modalidad gratuita? ¡Tranquilo! Recuerda que Screaming Frog te permite examinar hasta un total de 500 URL. ¡En ambos casos aprovecha su potencial!

Pasos previos para configurar Screaming Frog antes de la programación del crawling

Screaming Frog realiza en tiempo récord acciones de análisis de URL que, si las desarrollaras de forma manual, te llevarían horas e incluso días.

Como cada rastreo es un mundo, necesitas indicarle a la herramienta qué características quieres que tenga presente mientras se ponga a trabajar en ese crawling específico. Así los resultados obtenidos se ajustarán a tus necesidades.

Antes de lanzar la programación automática de rastreos, debes realizar una serie de configuraciones en Screaming Frog que guardarás para disponer de ella y facilitar los crawleos que realices.

Estos son los pasos previos que debes poner en marcha:

• Dirígete a Configuration >> Spider. Selecciona los parámetros de rastreo que desees: imágenes, css, JavaScript, enlaces interno y/o externos, hreflang, canonicals, AMP, XML Sitemaps…

• Una vez configurado, comprueba el rastreo.
• Verifica que la información aportada por Screaming Frog es la que quieres utilizar para el análisis de esa web.
• Finalmente, guarda esa configuración en File >> Configuration >> Save As.

Ahora sí automatiza la programación de rastreos de URL con Screaming Frog

Tras estos preliminares, llegó el momento de pasar a la acción y comprobar el poder de Screaming Frog para automatizar crawlings mientras tú sigues trabajando en segundo plano en otras acciones SEO.

En primer lugar, dirígete a File >> Scheduling y crea la tarea correspondiente para que «la rana» empiece a ejecutar toda su maquinaria.

Especifica el nombre de ese rastreo y el día y la hora en que deseas que lo inicie.

En la pestaña Start Options, elige entre los dos modos de crawleo disponibles:

• Spider: el crawler de Screaming Frog rastreará toda la web.
• List: esta modalidad servirá para que la herramienta centre su análisis en la relación de URL concretas que le indiques. Si seleccionas esta opción, deberás navegar entre las carpetas de tu PC hasta elegir el documento donde estén incluidas todas esas direcciones a rastrear.

Además al crear la tarea de programación automática, puedes conectar el rastreo con las API de Ahrefs, Google Analytics, Google Search Console, PageSpeed Insights, entre otras.

En la pestaña Export debes marcar la opción Headless, para indicar a la herramienta el directorio donde deseas exportar los archivos.

Asimismo, elige que genere una carpeta con todos los exports que vamos a realizar y el rastreo guardado nombrada con la fecha en la que se realizó ese crawling.

Por otra parte, Screaming Frog te da la opción de indicarle qué información quieres que genere ese rastreo automático.

A continuación, en Export Tabs añade toda la información de pestañas que te interesa recuperar de este crawling: Internal:All, Internal: HTML…

Lo mismo sucede con Bulk Exports donde Miguel recomienda seleccionar All Inlinks, ya que es un fichero que tarda tiempo en ejecutarse.

Al programarlo, dispondrás de la información cuando la necesites, ganando en productividad.

Respecto a Reports, te aconsejamos que escojas la opción Crawl Overview para obtener una síntesis del rastreo realizado.

Como último paso, selecciona el formato de ese resumen bien como csv, xlsx o xls.

Una vez guardada la tarea, Screaming Frog lanzará el rastreo, generando en Descargas una carpeta nombrada con la fecha del crawling automatizado.

En ella figurarán los archivos que le hemos indicado que exporte, tras finalizar el rastreo.

Hasta aquí la sencilla labor de programar rastreos con Screaming Frog casi sin pestañear. ¡Automatizas y la herramienta trabaja sola!

Guía de utilidades de Screaming Frog para SEO Técnico

Y, completa el visionado con la lectura de este post.