Acesso de crawlers de IA
Shopify robots.txt para rastreadores de IA
Um guia prático para robots.txt do Shopify, acesso ao rastreador de IA, caminhos privados, risco do Googlebot e monitoramento para visibilidade de compras dos agentes.
Os sistemas de compras de IA não podem recomendar aquilo que não conseguem rastrear, ler ou confiar. Para lojas Shopify, o robots.txt é uma das primeiras portas entre seu catálogo de produtos e mecanismos de pesquisa, assistentes de IA, agentes de compras e rastreadores comerciais.
O objetivo não é permitir tudo. O objetivo é manter acessíveis caminhos importantes de produtos, coleções, imagens e dados estruturados, ao mesmo tempo que protege caminhos de carrinho, checkout, conta, pesquisa, filtro e utilitários internos que não ajudam na descoberta.
Robots.txt controla o rastreamento, não a qualidade do conteúdo
Robots.txt informa aos rastreadores compatíveis quais caminhos eles não devem solicitar. Ele não adiciona esquema de produto, corrige variantes duplicadas, melhora descrições resumidas ou garante indexação. Trate-o como um controle de acesso para rastreadores, não como um substituto para o SEO técnico.
O que o Shopify geralmente faz bem por padrão
Mantenha esses padrões, a menos que você tenha um motivo claro
- check_circleAs páginas de produtos e coleções devem permanecer rastreáveis.
- check_circleOs recursos estáticos necessários para renderizar o conteúdo do produto devem permanecer rastreáveis.
- check_circleCarrinho, checkout, conta e caminhos de pesquisa internos geralmente não precisam de acesso do rastreador.
- check_circleOs caminhos do mapa do site devem permanecer detectáveis.
- check_circleO Googlebot não deve ser bloqueado, a menos que você queira remover intencionalmente o acesso à Pesquisa Google.
Uma política sensata de rastreador de IA para Shopify
Para um site de comércio eletrônico em estágio de crescimento, uma política equilibrada geralmente é melhor do que um bloqueio geral. Permitir rastreadores que possam criar valor de descoberta, proteger caminhos privados e de baixo valor e monitorar logs ou análises de CDN em busca de tráfego anormal.
Uma política sensata de rastreador de IA para Shopify
| Tipo de caminho | Política recomendada | Por que é importante |
|---|---|---|
| Páginas de produtos | Permitir | Eles contêm os fatos comerciais de que os sistemas de compras de IA precisam. |
| Páginas de coleção | Permitir | Eles ajudam os rastreadores a entender categorias, agrupamentos de inventário e links internos. |
| Imagens do produto | Permitir | As imagens oferecem suporte à pesquisa visual, visualizações e uma melhor compreensão do produto. |
| Carrinho e finalização da compra | Proibir | Eles não ajudam na descoberta e podem criar desperdício de rastreamento. |
| Páginas da conta do cliente | Não permitir | Eles são privados ou de baixo valor para descoberta pública. |
| Pesquisa interna e URLs filtrados | Normalmente proibir | Eles podem criar caminhos de rastreamento duplicados ou infinitos. |
| Mapa do site | Permitir | Ajuda os rastreadores a encontrar URLs canônicos com eficiência. |
Exemplos de regras de robots.txt do Shopify para rastreadores de IA
As lojas Shopify podem personalizar regras de robôs por meio do modelo robots.txt.liquid do tema. Mantenha as regras personalizadas pequenas, documentadas e fáceis de reverter. Não copie cegamente uma lista de bloqueio do rastreador de outra loja.
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account
User-agent: Google-Extended
Disallow: /Google-Extended não é igual ao Googlebot
Google-Extended é um controle separado para determinados treinamentos de IA do Google e casos de uso de produtos. Bloquear o Google-Extended é diferente de bloquear o Googlebot. Se sua prioridade for a visibilidade na Pesquisa, nunca os trate como intercambiáveis.
O que monitorar após alterar o robots.txt
Verificações pós-alteração
- 1Abra /robots.txt e confirme se o arquivo final renderizado é o que você esperava.
- 2Verifique se os URLs de produtos e coleções não estão bloqueados para o Googlebot.
- 3Verifique se os URLs do mapa do site ainda estão acessíveis.
- 4Execute uma verificação de acesso do rastreador em páginas de produtos representativas.
- 5Observe as análises do servidor, CDN ou Shopify em busca de picos de rastreamento.
- 6Mantenha uma nota datada de cada alteração no robots.txt para que você possa reverter rapidamente.
Erros comuns do robots.txt do Shopify
Erros comuns do robots.txt do Shopify
- errorBloqueio de todos os parâmetros de consulta quando URLs de variantes importantes dependem de parâmetros.
- errorBloqueio de pastas de imagens necessárias para visualizações de produtos.
- errorBloquear o Googlebot ao tentar bloquear apenas rastreadores de treinamento de IA.
- errorPresumindo que o robots.txt possa corrigir conteúdo duplicado sozinho.
- errorEsquecer que alguns rastreadores podem ignorar o robots.txt ou usar strings de agente de usuário variáveis.
FAQ
As lojas Shopify devem bloquear rastreadores de IA?keyboard_arrow_down
Não por padrão. Se a visibilidade das compras por IA for importante, permita o acesso do rastreador a páginas públicas de produtos e coleções, bloqueando caminhos privados ou de baixo valor, como carrinho, checkout, conta, pesquisa e filtros duplicados.
O robots.txt pode remover páginas de produtos do Shopify do Google?keyboard_arrow_down
Robots.txt controla o rastreamento. Se o Google já conhece um URL, bloquear o rastreamento não é o mesmo que uma estratégia limpa de noindex. Na Pesquisa Google, tome cuidado especial para não bloquear o acesso do Googlebot a páginas de produtos importantes.
O Shopify permite a personalização do robots.txt?keyboard_arrow_down
Sim, o Shopify oferece suporte à personalização do robots.txt por meio do modelo robots.txt.liquid do tema. Mantenha as alterações conservadoras e teste o arquivo /robots.txt renderizado após a publicação.
Quais URLs do Shopify devem permanecer rastreáveis para compras com IA?keyboard_arrow_down
Páginas de produtos, páginas de coleções, imagens de produtos, URLs canônicos e URLs de mapas de sites geralmente devem permanecer rastreáveis porque contêm fatos sobre produtos, contexto de categoria e links de descoberta.
Ferramentas relacionadas
AI Verificador de acesso do rastreador para comércio eletrônico Product Páginas
Verifique as páginas de produtos de comércio eletrônico para acesso ao rastreador AI, regras robots.txt, meta robôs, X-Robots-Tag, descoberta de mapa do site, sinais canonical e prontidão de pesquisa AI.
Verificador de esquema do Shopify para páginas de produtos
Verificador de esquema gratuito do Shopify para páginas de produtos. Digitalize o esquema do produto, ofertas de variantes, metadados injetados pelo aplicativo, sinais do Shopify Markets e prontidão para pesquisa de IA.
Verificador de SEO Shopify para produtos, variantes, Markets e compras com IA
Verificador gratuito de SEO Shopify para páginas de produto, schema de variantes, Liquid, apps SEO, avaliações, Markets, hreflang e compras com IA.
Posts relacionados
Lista de verificação de preparação para comércio agente do Shopify
Uma lista de verificação prática para tornar as páginas de produtos do Shopify mais fáceis de serem entendidas, comparadas e recomendadas por compradores e agentes de compras com IA.
Como adicionar esquema de produto no Shopify
Um guia prático do Shopify para adicionar produtos e ofertas JSON-LD sem criar conflitos com temas, aplicativos de SEO, aplicativos de avaliação, variantes ou mercados.