Regras do Robots.txt
Review se produtos importantes URLs ou grupos de rastreadores são bloqueados por robots.txt, incluindo regras destinadas a agentes de usuários de pesquisa e rastreadores AI.
appsFerramentas de SEO
radarAI Verificador de acesso do rastreador
AI Verificador de acesso do rastreador para comércio eletrônico Product Páginas
Verifique se os rastreadores de pesquisa e AI podem descobrir, buscar, indexar e confiar nas páginas de seus produtos revisando robots.txt, meta robôs, X-Robots-Tag, mapa do site, canonical e sinais de página renderizada.
check_circleRegras de bot robots.txt e AI
check_circleMeta robôs e X-Robots-Tag
check_circleMapa do site e descoberta de canonical
check_circleAcesso à página do produto renderizado
Sistema pronto
link
Não é necessário fazer login · Verificação gratuita · Relatório on-line instantâneo
Cobertura de auditoria
O que esta ferramenta verifica
Diretivas de indexação
Verifique os meta-robôs e as diretivas X-Robots-Tag que podem impedir a indexação ou o seguimento de links, mesmo quando robots.txt permite a busca.
Sinais de descoberta
Observe o mapa do site, canonical, hreflang e os sinais de link interno para que os rastreadores possam encontrar o produto preferido URL.
Acesso renderizado
Identifique páginas onde JavaScript, redirecionamentos, barreiras de senha, cercas geográficas ou falhas de aplicativos ocultam fatos de produtos dos rastreadores.
Mapa de acesso do rastreador
Sinais de acesso que este verificador separa
O acesso do rastreador não é um switch. A page can be allowed in robots.txt, blocked by noindex, missing from sitemaps, canonicalized away, or readable to browsers but incomplete for crawlers. Este verificador separa cada camada para que você possa ver qual porta está criando risco.
Regras de bot robots.txt e AI
robots.txt controla se agentes de usuário específicos têm permissão para buscar um URL. É útil para controle de rastreamento, mas não é o mesmo que indexação, classificação ou visibilidade AI.
Sinais de exemplo
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/O que verificar
- check_circleProduct URLs não são bloqueados acidentalmente por regras amplas de Disallow.
- check_circlePesquisa, compras e agentes de usuário específicos de AI são tratados intencionalmente, e não por meio de regras copiadas e coladas.
- check_circleA localização do mapa do site é exposta quando robots.txt é usado como uma dica de descoberta.
Meta robôs e X-Robots-Tag
Um rastreador pode buscar uma página e ainda assim ser instruído a não indexá-la. Meta robôs e cabeçalhos HTTP X-Robots-Tag geralmente explicam por que um produto URL pode ser descoberto, mas está ausente da pesquisa.
Sinais de exemplo
meta robots: noindex, nofollow; X-Robots-Tag: noindexO que verificar
- check_circleAs páginas Product não herdam noindex de testes, filtros ou modelos de aplicativo.
- check_circleCabeçalhos e diretivas HTML não entram em conflito entre si.
- check_circleAs diretivas de indexação correspondem ao canonical da página e ao status do mapa do site.
Mapa do site, canonical e descoberta de mercado
Sitemaps e canonicals informam aos rastreadores qual produto URL deve representar o item. O desvio aqui pode fazer com que AI e os sistemas de pesquisa coletem a variante, o mercado ou o contexto de coleção errado.
Sinais de exemplo
sitemap.xml URL + canonical produto URL + hreflang equivalentes de mercadoO que verificar
- check_circleO produto preferido URL aparece em sitemap.xml.
- check_circleCanônico aponta para a página do produto, não para uma coleção filtrada ou variante obsoleta.
- check_circleOs URLs de mercado localizado usam relacionamentos canonical e hreflang consistentes.
Fatos do produto renderizados
AI e os rastreadores de pesquisa precisam dos fatos finais do produto, não apenas de uma concha vazia. Falhas de renderização podem tornar invisíveis o esquema, o preço, a disponibilidade ou os atributos do produto.
Sinais de exemplo
HTML renderizado: esquema Product, preço, disponibilidade, atributos, avaliações, contexto de devolução e envioO que verificar
- check_circleOs fatos principais aparecem sem exigir login, estado do carrinho ou interação do usuário.
- check_circleJavaScript e widgets de aplicativos não atrasam esquemas críticos nem oferecem dados além da coleta do rastreador.
- check_circleA proteção de bots, os redirecionamentos e a delimitação geográfica não fornecem uma página limitada ou bloqueada aos rastreadores.
Bloqueadores Comuns
Problemas que valem a pena resolver primeiro
Grupos de rastreadores AI bloqueados
As regras podem proibir GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot e PerplexityBot ou cancelar por meio de Google-Extended. Padrões amplos de bot também podem bloquear páginas de produtos acidentalmente.
Noindex no produto URLs
Uma página de produto pode ser buscada, mas ainda assim excluída por meta-robôs ou diretivas X-Robots-Tag noindex.
Mapa do site ou desvio de canonical
Os rastreadores podem descobrir um URL enquanto canonical, hreflang ou entradas de mapa do site apontam para um mercado, variante ou coleção diferente URL.
Conteúdo renderizado oculto de bots
JavaScript atrasado, widgets de aplicativos, redirecionamentos ou proteção de bot podem manter preço, disponibilidade, esquema ou atributos fora da página visível do rastreador.
Fluxo de trabalho
Do URL ao plano de correção
01
Cole um produto ativo URL
Use a página pública do produto que você deseja que os mecanismos de pesquisa e os sistemas AI descubram, não uma visualização ou administrador URL.
02
Separe cada camada de acesso
ShopGox verifica robots.txt, diretivas de página, mapa do site e sinais canonical e a saída do produto renderizado juntos.
03
Conserte o portão de bloqueio primeiro
Use the report to decide whether the fix belongs in robots.txt, theme templates, headers, sitemap settings, app rules, or platform configuration.
Perguntas frequentes
Perguntas antes de digitalizar
Permitir um rastreador AI garante a visibilidade de AI?expand_more
Não. O acesso significa apenas que um rastreador não está impedido de buscar a página. AI visibility still depends on product data quality, authority, freshness, merchant data sources, and whether the AI system chooses to use the page.
robots.txt é o mesmo que noindex?expand_more
Não. robots.txt controla o rastreamento, enquanto noindex controla se uma página buscada pode ser indexada. Uma página pode ser permitida por robots.txt, mas excluída por meta robots ou X-Robots-Tag.
Devo bloquear GPTBot, ClaudeBot ou PerplexityBot?expand_more
That is a business decision. Blocking may reduce certain AI training or retrieval access, but it can also reduce the chance that AI systems collect your product facts. O verificador ajuda você a ver o que suas regras atuais estão fazendo.
Por que o acesso ao mapa do site é importante para a pesquisa AI?expand_more
Os Sitemaps ajudam os rastreadores a descobrir canonical produtos URLs e rastrear novamente páginas importantes. If product pages are missing from sitemap.xml, AI and search systems may rely on weaker internal links or stale URLs.
O Shopify ou os aplicativos de comércio eletrônico podem bloquear acidentalmente os rastreadores?expand_more
Sim. Theme templates, robots.txt.liquid edits, password gates, region rules, review apps, SEO apps, bot protection, and WAF tools can change what crawlers see compared with shoppers.
Mais ferramentas
Continue verificando a visibilidade do produto
Scanner de prontidão para compras com IA
Scanner de prontidão para compras com IA para lojas de comércio eletrônico
Digitalize as páginas de produtos de comércio eletrônico para obter prontidão para pesquisa de IA, esquema de produto, sinais de acesso do rastreador, atributos de produto, clareza semântica e consistência de dados estruturados.
Verificador de esquema de produto
Verificador de esquema de produto gratuito para páginas de comércio eletrônico
Verifique as páginas de produtos de comércio eletrônico para esquema de produto, dados de oferta, consistência JSON-LD, preço, disponibilidade, atributos e prontidão para pesquisa de IA.
Verificador de esquema do Shopify
Verificador de esquema do Shopify para páginas de produtos
Verificador de esquema gratuito do Shopify para páginas de produtos. Digitalize o esquema do produto, ofertas de variantes, metadados injetados pelo aplicativo, sinais do Shopify Markets e prontidão para pesquisa de IA.