Reglas de Robots.txt
Review si robots.txt bloquea productos importantes URLs o grupos de rastreadores, incluidas las reglas dirigidas a la búsqueda y a los agentes de usuario del rastreador AI.
appsHerramientas SEO
radarAI Comprobador de acceso del rastreador
AI Comprobador de acceso del rastreador para comercio electrónico Product Páginas
Compruebe si los rastreadores de búsqueda y AI pueden descubrir, recuperar, indexar y confiar en las páginas de sus productos revisando robots.txt, meta robots, X-Robots-Tag, mapa del sitio, canonical y señales de páginas renderizadas.
check_circleReglas de bot robots.txt y AI
check_circleMetarobots y X-Robots-Tag
check_circleMapa del sitio y descubrimiento de canonical
check_circleAcceso a la página del producto renderizado
Sistema listo
link
No es necesario iniciar sesión · Escaneo gratuito · Informe instantáneo en línea
Cobertura de auditoría
Qué comprueba esta herramienta
Directivas de indexación
Verifique los metarobots y las directivas X-Robots-Tag que pueden impedir la indexación o el seguimiento de enlaces incluso cuando robots.txt permite la recuperación.
Señales de descubrimiento
Mire el mapa del sitio, canonical, hreflang y las señales de enlaces internos para que los rastreadores puedan encontrar el producto preferido URL.
Acceso renderizado
Identifique páginas donde JavaScript, redirecciones, puertas de contraseña, geocercas o fallas de aplicaciones ocultan datos del producto a los rastreadores.
Mapa de acceso del rastreador
Señales de acceso que este verificador separa
El acceso del rastreador no es un solo interruptor. Una página puede estar permitida en robots.txt, bloqueada por noindex, faltante en los mapas del sitio, canonical eliminada o legible para los navegadores pero incompleta para los rastreadores. Este verificador separa cada capa para que pueda ver qué puerta está creando riesgo.
Reglas de bot robots.txt y AI
robots.txt controla si agentes de usuario específicos pueden recuperar un URL. Es útil para el control de rastreo, pero no es lo mismo que la indexación, la clasificación o la visibilidad AI.
Señales de ejemplo
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Que verificar
- check_circleProduct URLs no se bloquean accidentalmente por reglas amplias Disallow.
- check_circleLa búsqueda, las compras y los agentes de usuario específicos de AI se manejan intencionalmente en lugar de mediante reglas copiadas y pegadas.
- check_circleLa ubicación del mapa del sitio queda expuesta cuando se utiliza robots.txt como sugerencia de descubrimiento.
Metarobots y X-Robots-Tag
Un rastreador puede recuperar una página y aún así recibir instrucciones de no indexarla. Los metarobots y los encabezados HTTP X-Robots-Tag a menudo explican por qué un producto URL es detectable pero no aparece en la búsqueda.
Señales de ejemplo
meta robots: noindex, nofollow; X-Robots-Tag: noindexQue verificar
- check_circleLas páginas Product no heredan noindex de la preparación, los filtros o las plantillas de aplicaciones.
- check_circleLos encabezados y las directivas HTML no entran en conflicto entre sí.
- check_circleLas directivas de indexación coinciden con el canonical de la página y el estado del mapa del sitio.
Mapa del sitio, canonical y descubrimiento de mercado
Los mapas del sitio y los canonical indican a los rastreadores qué producto URL debe representar el artículo. La desviación aquí puede hacer que AI y los sistemas de búsqueda recopilen la variante, el mercado o el contexto de recopilación incorrectos.
Señales de ejemplo
sitemap.xml URL + canonical producto URL + hreflang equivalentes de mercadoQue verificar
- check_circleEl producto preferido URL aparece en sitemap.xml.
- check_circleCanonical apunta a la página del producto, no a una colección filtrada o una variante obsoleta.
- check_circleLos URLs de mercado localizados utilizan relaciones canonical y hreflang consistentes.
Datos del producto renderizado
AI y los rastreadores de búsqueda necesitan los datos finales del producto, no sólo un caparazón vacío. Los errores de representación pueden hacer que el esquema, el precio, la disponibilidad o los atributos del producto sean invisibles.
Señales de ejemplo
HTML renderizado: Product esquema, precio, disponibilidad, atributos, reseñas, contexto de devolución y envíoQue verificar
- check_circleLos datos básicos aparecen sin necesidad de iniciar sesión, del estado del carrito o de la interacción del usuario.
- check_circleJavaScript y los widgets de aplicaciones no retrasan los esquemas críticos ni ofrecen datos más allá de la recopilación del rastreador.
- check_circleLa protección contra bots, las redirecciones y las geovallas no muestran una página delgada o bloqueada a los rastreadores.
Bloqueadores comunes
Problemas que vale la pena solucionar primero
AI grupos de rastreadores bloqueados
Las reglas pueden no permitir GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot y PerplexityBot, o excluirse a través de Google-Extended. Los patrones amplios de bots también pueden bloquear páginas de productos por accidente.
Noindex en el producto URLs
La página de un producto se puede recuperar, pero aún así está excluida por metarobots o directivas X-Robots-Tag noindex.
Mapa del sitio o deriva canonical
Los rastreadores pueden descubrir un URL mientras que canonical, hreflang o las entradas del mapa del sitio apuntan a un mercado, variante o colección diferente URL.
Contenido renderizado oculto a los bots
Los JavaScript retrasados, los widgets de aplicaciones, las redirecciones o la protección contra bots pueden mantener el precio, la disponibilidad, el esquema o los atributos fuera de la página visible del rastreador.
Flujo de trabajo
De la URL al plan fijo
01
Pegue un producto activo URL
Utilice la página pública del producto que desea que descubran los motores de búsqueda y los sistemas AI, no una vista previa o un administrador URL.
02
Separe cada capa de acceso
ShopGox verifica robots.txt, las directivas de página, el mapa del sitio y las señales canonical, y la salida del producto renderizado en conjunto.
03
Primero arregle la puerta de bloqueo
Utilice el informe para decidir si la solución pertenece a robots.txt, plantillas de tema, encabezados, configuración del mapa del sitio, reglas de la aplicación o configuración de la plataforma.
Preguntas frecuentes
Preguntas antes de escanear
¿Permitir un rastreador AI garantiza la visibilidad de AI?expand_more
No. Solo acceso significa que un rastreador no tiene bloqueado el acceso a la página. La visibilidad de AI aún depende de la calidad de los datos del producto, la autoridad, la actualidad, las fuentes de datos del comerciante y si el sistema AI elige utilizar la página.
¿Es robots.txt lo mismo que noindex?expand_more
No. robots.txt controla el rastreo, mientras que noindex controla si una página recuperada se puede indexar. Una página puede ser permitida por robots.txt pero excluida por meta robots o X-Robots-Tag.
¿Debo bloquear GPTBot, ClaudeBot o PerplexityBot?expand_more
Esa es una decisión de negocios. El bloqueo puede reducir cierto acceso a la capacitación o recuperación de AI, pero también puede reducir la posibilidad de que los sistemas AI recopilen los datos de su producto. El verificador le ayuda a ver qué están haciendo sus reglas actuales.
¿Por qué es importante el acceso al mapa del sitio para la búsqueda AI?expand_more
Los mapas del sitio ayudan a los rastreadores a descubrir canonical productos URL y volver a rastrear páginas importantes. Si faltan páginas de productos en sitemap.xml, AI y los sistemas de búsqueda pueden depender de enlaces internos más débiles o URL obsoletos.
¿Pueden Shopify o las aplicaciones de comercio electrónico bloquear accidentalmente a los rastreadores?expand_more
Sí. Las plantillas de temas, las ediciones robots.txt.liquid, las puertas de contraseña, las reglas regionales, las aplicaciones de revisión, las aplicaciones SEO, la protección contra bots y las herramientas WAF pueden cambiar lo que ven los rastreadores en comparación con los compradores.
Más herramientas
Siga comprobando la visibilidad del producto
Escáner de preparación para compras con IA
Escáner de preparación para compras con IA para tiendas de comercio electrónico
Escanee páginas de productos de comercio electrónico para detectar la preparación para la búsqueda de IA, el esquema del producto, las señales de acceso del rastreador, los atributos del producto, la claridad semántica y la coherencia de los datos estructurados.
Comprobador de esquema de producto
Comprobador de esquemas de productos gratuito para páginas de comercio electrónico
Consulte las páginas de productos de comercio electrónico para conocer el esquema del producto, los datos de la oferta, la coherencia de JSON-LD, el precio, la disponibilidad, los atributos y la preparación para la búsqueda de IA.
Comprobador de esquemas de Shopify
Shopify Schema Checker para páginas de productos
Comprobador de esquemas de Shopify gratuito para páginas de productos. Escanee el esquema del producto, las ofertas variantes, los metadatos inyectados en la aplicación, las señales de Shopify Markets y la preparación para la búsqueda mediante IA.