analisis del estado de indexaci贸n de URLs

An谩lisis del estado de indexaci贸n de URLs

Hoy en d铆a disponemos de herramientas para todo tipo de acciones SEO pero las verdaderamente buenas, 煤tiles y fiables suelen adquirir la categor铆a de pago.

Por eso, si queremos hacer SEO pero no contamos con recursos suficientes como para asumir la suscripci贸n a las herramientas punteras del mercado, debemos ingeni谩rnoslas para poder obtener esta informaci贸n por otras v铆as.

En el post de hoy traigo la combinaci贸n de herramientas gratuitas y freemium que empleo con nuevos clientes a la hora de realizar un primer an谩lisis del estado de las URLs y su indexaci贸n.

Antes de meternos en materia con el an谩lisis de las URLs, lo primero que debemos comprobar es que la web es accesible para los robots de b煤squeda (no est谩 bloqueada mediante el archivo robots.txt ni etiquetas no index), algo que parece una obviedad pero con lo que es muy habitual meter la pata. Para asegurarme de que las URLs son accesibles empleo dos extensiones de Google Chrome que nos lo muestran con un simple vistazo: una m谩s b谩sica como SeeRobots y otra m谩s completa como Link Redirect Trace, ya que nos aporta algo m谩s de informaci贸n como el c贸digo de respuesta que devuelve la p谩gina y otros datos sobre enlaces.

An谩lisis del estado de indexaci贸n de URLs

An谩lisis del estado de indexaci贸n de URLs

Extracci贸n y clasificaci贸n de las URLs de un proyecto

A la hora de meternos de lleno con la obtenci贸n de URLs del sitio web 聽es importante clasificarlas adecuadamente. Para un primer an谩lisis suelo diferenciar ente tres grandes grupos: URLs totales, URLs indexadas y URLs no indexadas, aunque podr铆an clasificarse con mayor profundidad (rastreables y no rastreables, indexables y no indexables, por tipo de p谩gina, c贸digos de respuesta, etc.).

Obtenci贸n de la totalidad de las URLs de un proyecto

Para obtener la totalidad de URLs de un proyecto debemos emplear alg煤n crawler que rastree nuestra p谩gina como si del robot de Google se tratase. En mi caso empleo Screaming Frog SEO Spider, una de las herramientas m谩s completas que existen, as铆 como aquella cuya versi贸n freemium ofrece m谩s posibilidades.

Adem谩s, para obtener un registro m谩s completo, acostumbro a a帽adir las URLs obtenidas del an谩lisis de logs con la herramienta Screaming Frog Log File Analyser, aunque esto suele ser una vez el proyecto avanza聽 ya que en muchas ocasiones no tenemos disponibles los archivos de logs generados.

An谩lisis del estado de indexaci贸n de URLs

Cabe destacar que los crawlers, al igual que los robots de Google, rastrean la web siguiendo el enlazado interno de la misma, por lo que debemos tener en cuenta que pueden existir URLs no accesibles en caso de estar publicadas pero no enlazadas de ning煤n modo ni incluidas en el sitemap.

Obtenci贸n de las URLs Indexadas del sitio web

Una vez obtenemos una recopilaci贸n de las URLs totales del proyecto, nos interesar谩 ver cu谩les de ellas son indexadas por Google. Para ello utilizo una combinaci贸n del comando Site: con la extensi贸n SEOQuake.

An谩lisis del estado de indexaci贸n de URLs

Al introducir el comando site: seguido del dominio en el buscador, Google nos muestra la (casi) totalidad de las URLs indexadas pertenecientes al dominio en cuesti贸n. Y digo casi porque siempre deja resultados sin mostrar, por lo que en muchas ocasiones debemos completar esta b煤squeda con otros comandos como inurl:, especialmente en sitios muy grandes.

Adem谩s, tambi茅n debemos llegar a la 煤ltima p谩gina de resultados, hacer scroll hasta el final y pulsar en 鈥渞epetir la b煤squeda e incluir los resultados que se han omitido鈥, lo que ampliar谩 un poco m谩s el n煤mero de resultados obtenidos.

驴C贸mo trasladamos estas URLs a un Excel para analizarlas y trabajarlas m谩s c贸modamente?

Muy sencillo, una vez hemos introducido el comando Site:nuestrodominio.com y activado la extensi贸n SEO Quake, tan solo debemos activar la extensi贸n en el bot贸n que nos aparecer谩 a la izquierda de las SERPs y exportar en formato CSV los resultados de cada p谩gina.

An谩lisis del estado de indexaci贸n de URLs

Este proceso se ha de repetir en cada p谩gina de las SERPs, por lo que para ahorrar tiempo podemos ir a Configuraci贸n聽鉃 Configuraci贸n de b煤squeda聽鉃 Mostrar 100 resultados por p谩gina. De esta forma, descargaremos 100 resultados por p谩gina y agilizaremos el proceso.

An谩lisis del estado de indexaci贸n de URLs

Obtenci贸n de las URLs No Indexadas del sitio web

Para hallar las URLs no indexadas, una vez disponemos de una tabla Excel con las URLs totales y las URLs indexadas os planteo dos alternativas:

Introducci贸n de URLs totales en Herramienta de testeo de indexaci贸n

La primera opci贸n consiste en escoger las URLs totales obtenidas con Screaming Frog y pasarlas por una herramienta de testeo de indexaci贸n gratuita , que nos las separa en indexadas y no indexadas.

An谩lisis del estado de indexaci贸n de URLs

Comparaci贸n de URLs totales vs URLs indexadas 聽en Excel

Otra opci贸n algo m谩s r谩pida es juntar las URLs totales y las indexadas en una nueva pesta帽a y aplicarle un formato condicional a las duplicadas. Si filtramos por colores y eliminamos aquellas duplicadas a mano, nos quedaremos con el resto, que ser谩n las no indexadas.

An谩lisis del estado de indexaci贸n de URLs

Una vez tengamos una clasificaci贸n adecuada de todas las URLs es el turno de lo m谩s importante: analizarlas para detectar posibles fallos y mejoras a realizar, con el principal objetivo de optimizar el crawl budget.

En primer lugar suelo echar un vistazo general para detectar patrones de indexaci贸n, vigilar URLs que no nos interesa que rastree o indexe Google, www, indexaci贸n de URLs con http y https, paginaciones, tags, categor铆as, URLs que tra铆a por defecto la plantilla y fueron indexadas antes de eliminarlas鈥

Adem谩s, es conveniente comprobar el estado de todas las URLs indexadas. Para ello, se pueden importar masivamente en Screaming Frog mediante el modo lista. Esto nos permitir谩 descubrir posibles incidencias como bloqueos por Robots.txt, la existencia de URLs antiguas que fueron eliminadas pero contin煤an indexadas generando constantes errores 404, etc.

An谩lisis del estado de indexaci贸n de URLs

En definitiva, un repaso a estas URLs nos permitir谩 establecer un plan de acci贸n para optimizar el reparto del crawl budget, evitando que los robots de Google pierdan tiempo en rastrear URLs que no nos interesan. Para ello, es necesario tomar decisiones como realizar redirecciones 301, bloquear URLs a trav茅s del archivo Robots.txt, desindexar URLs mediante la metaetiqueta NoIndex y Search Console… en funci贸n de cada tipo de URL y proyecto en concreto.

Este an谩lisis de URLs podr铆a considerarse algo b谩sico o superficial ya que en ning煤n momento estamos teniendo en cuenta el an谩lisis de los logs, el cual es fundamental a la hora de analizar y optimizar el rastreo de nuestra web por parte del Google Bot.

Sin embargo, como este post habla de la utilizaci贸n de herramientas freemium y la versi贸n de prueba de Screaming Frog Log File Analyser se nos queda algo corta para el an谩lisis de logs, lo dejo para un futuro post algo m谩s espec铆fico. 馃槈

An谩lisis del estado de indexaci贸n de URLs
5 (100%) 9 votos

Deja tu comentario

Este sitio usa Akismet para reducir el spam. Aprende c贸mo se procesan los datos de tus comentarios.