Googlebot: qué es la araña de Google y cómo rastrea tu web

Para que una página aparezca en Google, antes tiene que pasar por un sitio: la visita de Googlebot, la araña de Google. Si Googlebot no llega a tu web, no la entiende o la entiende mal, da igual lo bueno que sea tu contenido: no vas a posicionar.

En este artículo te explicamos qué es Googlebot, cómo funciona el rastreo de Google, qué diferencia hay entre rastrear e indexar, y cómo puedes comprobar si la araña está tratando bien tu web.

¿Qué es Googlebot?

Googlebot es el crawler (o rastreador) de Google: un programa que recorre Internet de forma automática, saltando de enlace en enlace, para descubrir páginas nuevas y detectar cambios en las que ya conoce. Se le llama «araña de Google» o «araña web» porque se mueve por la red de enlaces igual que una araña por su tela.

En realidad no es un único programa, sino un sistema distribuido en miles de máquinas que trabajan en paralelo. Por eso en los registros de tu servidor puedes ver visitas de Googlebot desde muchas IP distintas.

Googlebot Smartphone y Googlebot Desktop

Hay dos tipos principales de Googlebot para la búsqueda web:

• Googlebot Smartphone: simula un usuario con un móvil. Es el rastreador principal.
• Googlebot Desktop: simula un usuario de ordenador. Se usa mucho menos.

Google utiliza la indexación mobile-first: lo que cuenta para posicionar es la versión móvil de tu web. Si en móvil escondes texto, enlaces o datos estructurados que sí aparecen en escritorio, para Google ese contenido prácticamente no existe.

Cómo funciona el rastreo de Google: rastreo, renderizado e indexación

Es habitual mezclar estos tres conceptos, pero son fases distintas:

1. Rastreo (crawling): Googlebot descarga la URL. Descubre páginas a partir de enlaces de otras páginas, de los sitemaps XML y de URLs que ya conocía. No todo lo que descubre lo rastrea, ni lo hace con la misma frecuencia.
2. Renderizado: Google ejecuta la página en una versión actualizada de Chrome para ver el contenido tal y como lo vería un usuario, incluido lo que se carga con JavaScript. Si tu contenido depende de JavaScript, este paso es crítico: si un script falla o un recurso está bloqueado, Google puede ver una página vacía.
3. Indexación: Google analiza el contenido renderizado, decide si la página merece estar en el índice, elige la URL canónica entre posibles duplicados y la guarda. Rastrear no garantiza indexar: Google puede visitar una página y decidir no incluirla.

Solo después de estas tres fases entra en juego el posicionamiento (ranking), que es donde se decide en qué posición sale cada página para cada búsqueda.

¿Qué es el crawl budget o presupuesto de rastreo?

Google no tiene recursos infinitos ni quiere saturar tu servidor, así que decide cuántas URLs rastrea de cada web y con qué frecuencia. Eso es el crawl budget, y depende de dos cosas:

• Capacidad de rastreo: cuántas peticiones aguanta tu servidor sin ir lento o dar errores. Si respondes rápido, Googlebot puede rastrear más; si devuelves errores 5xx o timeouts, frena.
• Demanda de rastreo: cuánto interés tiene Google en tus URLs, según su popularidad y la frecuencia con la que cambian.

La buena noticia: para la mayoría de webs pequeñas y medianas el crawl budget no es un problema. Donde de verdad importa es en sitios grandes (tiendas online con miles de productos y filtros, portales, webs con muchas URLs generadas automáticamente). Aun así, hay cosas que conviene evitar en cualquier web:

• Parámetros y filtros que generan miles de URLs casi idénticas.
• Cadenas de redirecciones y enlaces internos a páginas 404.
• Contenido duplicado o páginas sin valor que nadie busca.
• Un servidor lento.

robots.txt, noindex y sitemaps: cómo darle instrucciones a Googlebot

robots.txt: controla el rastreo, no la indexación

El archivo robots.txt, en la raíz de tu dominio, le dice a los rastreadores qué rutas no deben visitar. Por ejemplo:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Aquí está uno de los errores más comunes: bloquear una URL en robots.txt no la saca de Google. Si esa URL tiene enlaces, Google puede indexarla igualmente (sin ver su contenido) y mostrarla en los resultados sin descripción. Además, la ruta de cada regla debe empezar por /; las líneas con URLs completas o con errores tipográficos se ignoran.

noindex: para que una página no salga en Google

Si quieres que una página no aparezca en los resultados, la herramienta correcta es la etiqueta <meta name="robots" content="noindex"> (o la cabecera HTTP X-Robots-Tag: noindex). Ojo: para que Google vea el noindex tiene que poder rastrear la página. Si la bloqueas en robots.txt y además le pones noindex, Googlebot nunca leerá la etiqueta.

Sitemap XML: el mapa para la araña

El sitemap XML es una lista de las URLs que quieres que Google conozca. No obliga a Google a indexarlas, pero le ayuda a descubrirlas antes, sobre todo si son nuevas o tienen pocos enlaces internos. Buenas prácticas:

• Incluye solo URLs canónicas, indexables y que respondan con un 200.
• Declara el sitemap en el robots.txt con la línea Sitemap: https://tudominio.com/sitemap_index.xml.
• Envíalo también en Google Search Console.

En WordPress, plugins como Rank Math o Yoast generan el sitemap automáticamente.

Cómo saber si una visita es de Googlebot de verdad

Cualquiera puede poner «Googlebot» en el user-agent de su bot, y muchos scrapers lo hacen para colarse. Para verificar que una visita es realmente de Google:

1. Haz una búsqueda DNS inversa de la IP (por ejemplo, con host 66.249.66.1). El nombre debe terminar en googlebot.com, google.com o googleusercontent.com.
2. Haz una búsqueda DNS directa de ese nombre y comprueba que devuelve la misma IP.

Google también publica en su documentación para desarrolladores los rangos de IP de sus rastreadores en formato JSON, útiles para configurar firewalls sin bloquear a la araña por error.

Cómo ver qué hace Googlebot en tu web con Search Console

Google Search Console es la forma más directa de saber cómo se relaciona Googlebot con tu web:

• Inspección de URL: te dice si una URL está indexada, cuándo se rastreó por última vez, con qué rastreador y qué canónica ha elegido Google. Con «Probar URL publicada» ves el HTML renderizado y los recursos que no se pudieron cargar. Desde aquí también puedes solicitar la indexación.
• Informe de páginas (indexación): lista las URLs no indexadas y el motivo: «Rastreada: actualmente sin indexar», «Descubierta: actualmente sin indexar», bloqueada por robots.txt, excluida por noindex, duplicada…
• Estadísticas de rastreo (en Ajustes): número de peticiones diarias, tiempo medio de respuesta, códigos de estado y tipo de Googlebot. Si el tiempo de respuesta se dispara o aparecen muchos errores de servidor, tienes un problema de rastreo.

Otros rastreadores de Google

Googlebot no es el único bot de Google que puede visitar tu web. Los más habituales:

• Googlebot-Image y Googlebot-Video: rastrean imágenes y vídeos para Google Imágenes, Vídeos y las secciones multimedia de los resultados.
• GoogleOther: rastreador genérico que usan equipos de Google para tareas que no son la búsqueda, como investigación y desarrollo.
• Google-Extended: no es un rastreador con su propio user-agent, sino un token para robots.txt. Bloqueándolo indicas que no quieres que tu contenido se use para entrenar y alimentar los modelos de IA de Google como Gemini. No afecta a tu posicionamiento en la Búsqueda de Google.
• AdsBot: revisa la calidad de las páginas de destino de Google Ads. No hace caso de las reglas para User-agent: *; solo de las que lo nombran expresamente.

Antes de bloquear cualquiera de ellos en el robots.txt, piensa qué consecuencias tiene. Bloquear Googlebot-Image, por ejemplo, hará que tus imágenes dejen de aparecer en Google Imágenes.

Checklist rápido para que Googlebot rastree bien tu web

• Robots.txt limpio, sin bloquear CSS, JavaScript ni secciones importantes.
• Sitemap XML actualizado, declarado en robots.txt y enviado en Search Console.
• Enlazado interno lógico: ninguna página importante huérfana.
• Contenido importante visible en la versión móvil y en el HTML, sin depender de interacciones del usuario.
• Servidor rápido y sin errores 5xx.
• Noindex en páginas que no deben salir en Google (página de gracias, resultados de búsqueda interna…) y sin bloquearlas en robots.txt.
• Revisa de vez en cuando el informe de páginas y las estadísticas de rastreo.

¿Necesitas ayuda con el rastreo de tu web?

Muchos problemas de posicionamiento empiezan antes del contenido: páginas que Google no rastrea, que no indexa o que indexa mal. En Webpsilon, agencia SEO en Lleida, revisamos cómo ve Googlebot tu web y corregimos lo que frena tu visibilidad. Si quieres saber cómo está la tuya, echa un vistazo a nuestro servicio de posicionamiento web y hablamos.