Acceso de rastreadores de IA
Shopify robots.txt para rastreadores de IA
Una guía práctica sobre Shopify robots.txt, acceso de rastreadores de IA, rutas privadas, riesgo de Googlebot y monitoreo para visibilidad de compras agentes.
Los sistemas de compras de IA no pueden recomendar lo que no pueden rastrear, leer o confiar. Para las tiendas Shopify, robots.txt es una de las primeras puertas entre su catálogo de productos y los motores de búsqueda, asistentes de inteligencia artificial, agentes de compras y rastreadores comerciales.
El objetivo no es permitirlo todo. El objetivo es mantener accesibles las rutas importantes de productos, colecciones, imágenes y datos estructurados, al mismo tiempo que se protegen las rutas de carrito, pago, cuenta, búsqueda, filtro y utilidades internas que no ayudan al descubrimiento.
Robots.txt controla el rastreo, no la calidad del contenido
Robots.txt indica a los rastreadores compatibles qué rutas no deben solicitar. No agrega esquema de producto, corrige variantes duplicadas, mejora descripciones breves ni garantiza la indexación. Trátelo como un control de acceso para los rastreadores, no como un sustituto del SEO técnico.
Lo que Shopify suele manejar bien por defecto
Mantenga estos valores predeterminados a menos que tenga una razón clara
- check_circleLas páginas de productos y colecciones deben seguir siendo rastreables.
- check_circleLos recursos estáticos necesarios para representar el contenido del producto deben seguir siendo rastreables.
- check_circleLas rutas de carrito, pago, cuenta y búsqueda interna generalmente no necesitan acceso del rastreador.
- check_circleLas rutas de los mapas del sitio deben permanecer visibles.
- check_circleEl robot de Google no debe bloquearse a menos que desees eliminar intencionalmente el acceso a la Búsqueda de Google.
Una política sensata de rastreo de IA para Shopify
Para un sitio de comercio electrónico en etapa de crecimiento, una política equilibrada suele ser mejor que un bloqueo general. Permita rastreadores que puedan crear valor de descubrimiento, proteger rutas privadas y de bajo valor y monitorear registros o análisis de CDN para detectar tráfico anormal.
Una política sensata de rastreo de IA para Shopify
| Tipo de ruta | Política recomendada | Por qué es importante |
|---|---|---|
| Páginas de productos | Permitir | Contienen los datos comerciales que necesitan los sistemas de compras con IA. |
| Páginas de colección | Permitir | Ayudan a los rastreadores a comprender categorías, agrupaciones de inventario y enlaces internos. |
| Imágenes del producto | Permitir | Las imágenes respaldan la búsqueda visual, vistas previas y una comprensión más completa del producto. |
| Carrito y pago | No permitir | No ayudan al descubrimiento y pueden generar desperdicio de rastreo. |
| Páginas de cuentas de clientes | No permitir | Son privados o de poco valor para el descubrimiento público. |
| Búsqueda interna y URL filtradas | Normalmente no permitir | Pueden crear rutas de rastreo duplicadas o infinitas. |
| Mapa del sitio | Permitir | Ayuda a los rastreadores a encontrar URL canónicas de manera eficiente. |
Ejemplo de reglas de Shopify robots.txt para rastreadores de IA
Las tiendas Shopify pueden personalizar las reglas de los robots a través de la plantilla robots.txt.liquid del tema. Mantenga las reglas personalizadas pequeñas, documentadas y fáciles de revertir. No copie ciegamente una lista de bloqueo de rastreadores de otra tienda.
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account
User-agent: Google-Extended
Disallow: /Google-Extended no es lo mismo que Googlebot
Google-Extended es un control independiente para ciertos casos de uso de productos y capacitación sobre IA de Google. Bloquear Google Extendido es diferente a bloquear Googlebot. Si su prioridad es la visibilidad de la Búsqueda, nunca los trate como intercambiables.
Qué monitorear después de cambiar el archivo robots.txt
Comprobaciones posteriores al cambio
- 1Abra /robots.txt y confirme que el archivo final renderizado es el que esperaba.
- 2Verifique que las URL de productos y colecciones no estén bloqueadas para Googlebot.
- 3Compruebe que las URL del mapa del sitio aún estén accesibles.
- 4Ejecute una verificación de acceso del rastreador en páginas de productos representativos.
- 5Observe los análisis del servidor, CDN o Shopify para detectar picos de rastreo.
- 6Mantenga una nota fechada de cada cambio en el archivo robots.txt para poder retroceder rápidamente.
Errores comunes del archivo robots.txt de Shopify
Errores comunes del archivo robots.txt de Shopify
- errorBloquear todos los parámetros de consulta cuando las URL variantes importantes dependen de los parámetros.
- errorBloqueo de carpetas de imágenes necesarias para vistas previas de productos.
- errorBloquear el robot de Google al intentar bloquear solo los rastreadores de entrenamiento de IA.
- errorSuponiendo que el archivo robots.txt pueda corregir contenido duplicado por sí solo.
- errorOlvidar que algunos rastreadores pueden ignorar el archivo robots.txt o utilizar cadenas de agente de usuario cambiantes.
FAQ
¿Las tiendas Shopify deberían bloquear los rastreadores de IA?keyboard_arrow_down
No de forma predeterminada. Si la visibilidad de las compras mediante IA es importante, permita el acceso de los rastreadores a páginas públicas de productos y colecciones y, al mismo tiempo, bloquee rutas privadas o de bajo valor, como carrito, pago, cuenta, búsqueda y filtros duplicados.
¿Puede el archivo robots.txt eliminar páginas de productos de Shopify de Google?keyboard_arrow_down
Robots.txt controla el rastreo. Si Google ya conoce una URL, bloquear el rastreo no es lo mismo que una estrategia limpia de noindex. Para la Búsqueda de Google, tenga especial cuidado de no bloquear el robot de Google en páginas de productos importantes.
¿Shopify permite la personalización del archivo robots.txt?keyboard_arrow_down
Sí, Shopify admite la personalización de robots.txt a través de la plantilla robots.txt.liquid del tema. Mantenga los cambios conservadores y pruebe el archivo /robots.txt renderizado después de publicarlo.
¿Qué URL de Shopify deberían seguir siendo rastreables para compras con IA?keyboard_arrow_down
Las páginas de productos, las páginas de colecciones, las imágenes de productos, las URL canónicas y las URL de mapas de sitio normalmente deberían permanecer rastreables porque contienen datos del producto, contexto de categoría y enlaces de descubrimiento.
Herramientas relacionadas
AI Comprobador de acceso del rastreador para comercio electrónico Product Páginas
Consulte las páginas de productos de comercio electrónico para conocer el acceso del rastreador AI, las reglas robots.txt, los metarobots, X-Robots-Tag, el descubrimiento de mapas de sitios, las señales canonical y la preparación para la búsqueda AI.
Shopify Schema Checker para páginas de productos
Comprobador de esquemas de Shopify gratuito para páginas de productos. Escanee el esquema del producto, las ofertas variantes, los metadatos inyectados en la aplicación, las señales de Shopify Markets y la preparación para la búsqueda mediante IA.
Comprobador SEO de Shopify para productos, variantes, Markets y compra con IA
Comprobador SEO gratuito de Shopify para páginas de producto, schema de variantes, Liquid, apps SEO, reseñas, Markets, hreflang y compra con IA.
Artículos relacionados
Lista de verificación de preparación para Shopify Agentic Commerce
Una lista de verificación práctica para hacer que las páginas de productos de Shopify sean más fáciles de entender, comparar y recomendar para los compradores y agentes de compras de IA.
Cómo agregar un esquema de producto en Shopify
Una guía práctica de Shopify para agregar productos y ofertas JSON-LD sin crear conflictos con temas, aplicaciones de SEO, aplicaciones de revisión, variantes o mercados.