Règles du fichier Robots.txt
Review si des produits importants URL ou des groupes de robots d'exploration sont bloqués par robots.txt, y compris les règles destinées à la recherche et les agents utilisateurs de robots d'exploration AI.
appsOutils de référencement
radarAI Vérificateur d'accès au robot
AI Vérificateur d'accès au robot pour le commerce électronique Product Pages
Vérifiez si les robots de recherche et AI peuvent découvrir, récupérer, indexer et faire confiance à vos pages de produits en examinant robots.txt, les métarobots, X-Robots-Tag, le plan du site, canonical et les signaux de page rendue.
check_circleRègles des robots robots.txt et AI
check_circleMétarobots et X-Robots-Tag
check_circlePlan du site et découverte canonical
check_circleAccès à la page produit rendue
Système prêt
link
Aucune connexion requise · Analyse gratuite · Rapport en ligne instantané
Couverture de l'audit
Ce que cet outil vérifie
Directives d'indexation
Vérifiez les méta-robots et les directives X-Robots-Tag qui peuvent empêcher l'indexation ou le suivi des liens même lorsque robots.txt autorise la récupération.
Signaux de découverte
Consultez le plan du site, canonical, hreflang et les signaux de liens internes afin que les robots d'exploration puissent trouver le produit préféré URL.
Accès rendu
Identifiez les pages sur lesquelles JavaScript, les redirections, les barrières de mot de passe, le géorepérage ou les échecs d'application cachent les informations sur les produits aux robots d'exploration.
Carte d'accès du robot
L'accès signale que ce vérificateur se sépare
L’accès des robots n’est pas un simple commutateur. Une page peut être autorisée dans robots.txt, bloquée par noindex, absente des plans de site, canonicalisée ou lisible par les navigateurs mais incomplète pour les robots d'exploration. Ce vérificateur sépare chaque couche afin que vous puissiez voir quelle porte crée un risque.
Règles des robots robots.txt et AI
robots.txt contrôle si des agents utilisateurs spécifiques sont autorisés à récupérer un URL. C'est utile pour le contrôle de l'exploration, mais ce n'est pas la même chose que l'indexation, le classement ou la visibilité AI.
Exemples de signaux
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Que vérifier
- check_circleLes Product URL ne sont pas bloqués accidentellement par des règles générales Disallow.
- check_circleLa recherche, les achats et les agents utilisateurs spécifiques à AI sont gérés intentionnellement plutôt que via des règles copiées-collées.
- check_circleL'emplacement du plan du site est exposé lorsque robots.txt est utilisé comme indice de découverte.
Métarobots et X-Robots-Tag
Un robot d'exploration peut récupérer une page tout en étant invité à ne pas l'indexer. Les métarobots et les en-têtes HTTP X-Robots-Tag expliquent souvent pourquoi un produit URL est détectable mais absent de la recherche.
Exemples de signaux
meta robots: noindex, nofollow; X-Robots-Tag: noindexQue vérifier
- check_circleLes pages Product n'héritent pas de noindex de la préparation, des filtres ou des modèles d'application.
- check_circleLes en-têtes et les directives HTML n'entrent pas en conflit les uns avec les autres.
- check_circleLes directives d'indexation correspondent au canonical de la page et à l'état du plan du site.
Plan du site, canonical et découverte du marché
Les plans de site et les canonical indiquent aux robots d'exploration quel produit URL doit représenter l'article. Une dérive ici peut amener AI et les systèmes de recherche à collecter la mauvaise variante, le mauvais marché ou le mauvais contexte de collection.
Exemples de signaux
sitemap.xml URL + canonical produit URL + hreflang équivalents du marchéQue vérifier
- check_circleLe produit préféré URL apparaît dans sitemap.xml.
- check_circleCanonical pointe vers la page produit, et non vers une collection filtrée ou une variante obsolète.
- check_circleLes URL de marché localisés utilisent des relations canonical et hreflang cohérentes.
Faits sur les produits rendus
AI et les robots d'exploration ont besoin des informations sur le produit final, pas seulement d'une coquille vide. Les échecs de rendu peuvent rendre invisibles les attributs du schéma, du prix, de la disponibilité ou du produit.
Exemples de signaux
HTML rendu: schéma Product, prix, disponibilité, attributs, avis, contexte de retour et d'expéditionQue vérifier
- check_circleLes informations essentielles apparaissent sans nécessiter de connexion, d'état du panier ou d'interaction de l'utilisateur.
- check_circleJavaScript et les widgets d'application ne retardent pas le schéma critique et n'offrent pas de données au-delà de la collecte par le robot.
- check_circleLa protection contre les robots, les redirections et le géorepérage ne fournissent pas de page mince ou bloquée aux robots d'exploration.
Bloqueurs courants
Issues Worth Fixing First
Groupes d'exploration AI bloqués
Les règles peuvent interdire GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot et PerplexityBot, ou se désinscrire via Google-Extended. De larges modèles de robots peuvent également bloquer des pages de produits par accident.
Aucun index sur le produit URLs
Une page produit peut être récupérée mais toujours exclue par les méta-robots ou les directives X-Robots-Tag noindex.
Plan du site ou dérive canonical
Les robots d'exploration peuvent découvrir un URL tandis que canonical, hreflang ou des entrées de plan de site pointent vers un marché, une variante ou une collection différente URL.
Contenu rendu caché aux robots
Les JavaScript retardés, les widgets d'application, les redirections ou la protection contre les robots peuvent maintenir le prix, la disponibilité, le schéma ou les attributs hors de la page visible par le robot.
Flux de travail
De l'URL au plan de réparation
01
Coller un produit actif URL
Utilisez la page publique du produit que vous souhaitez que les moteurs de recherche et les systèmes AI découvrent, et non un aperçu ou un URL d'administration.
02
Séparez chaque couche d'accès
ShopGox checks robots.txt, page directives, sitemap and canonical signals, and the rendered product output together.
03
Réparez d'abord la porte bloquante
Utilisez le rapport pour décider si le correctif appartient à robots.txt, aux modèles de thème, aux en-têtes, aux paramètres du plan de site, aux règles de l'application ou à la configuration de la plateforme.
FAQ
Questions Before You Scan
L'autorisation d'un robot d'exploration AI garantit-elle la visibilité de AI?expand_more
Non. L'accès signifie uniquement qu'un robot d'exploration n'est pas empêché de récupérer la page. La visibilité de AI dépend toujours de la qualité des données produit, de l'autorité, de la fraîcheur, des sources de données des marchands et du choix ou non du système AI d'utiliser la page.
robots.txt est-il identique à noindex?expand_more
Non. robots.txt contrôle l'exploration, tandis que noindex contrôle si une page récupérée peut être indexée. Une page peut être autorisée par robots.txt mais exclue par les méta-robots ou X-Robots-Tag.
Should I block GPTBot, ClaudeBot, or PerplexityBot?expand_more
C'est une décision commerciale. Le blocage peut réduire certains accès à la formation ou à la récupération AI, mais il peut également réduire les chances que les systèmes AI collectent des informations sur vos produits. Le vérificateur vous aide à voir ce que font vos règles actuelles.
Pourquoi l'accès au plan du site est-il important pour la recherche AI?expand_more
Les plans de site aident les robots d'exploration à découvrir les produits canonical URL et à réexplorer les pages importantes. Si des pages de produits sont absentes de sitemap.xml, AI et les systèmes de recherche peuvent s'appuyer sur des liens internes plus faibles ou des URL obsolètes.
Shopify ou les applications de commerce électronique peuvent-elles bloquer accidentellement les robots d'exploration?expand_more
Oui. Les modèles de thème, les modifications robots.txt.liquid, les portails de mot de passe, les règles régionales, les applications d'évaluation, les applications SEO, la protection contre les robots et les outils WAF peuvent changer ce que les robots voient par rapport aux acheteurs.
Plus d'outils
Continuez à vérifier la visibilité du produit
Scanner de préparation au shopping IA
Scanner de préparation au shopping IA pour les magasins de commerce électronique
Analysez les pages de produits de commerce électronique pour vérifier la préparation à la recherche par l'IA, le schéma du produit, les signaux d'accès des robots, les attributs du produit, la clarté sémantique et la cohérence des données structurées.
Vérificateur de schéma de produit
Vérificateur de schéma de produit gratuit pour les pages de commerce électronique
Consultez les pages de produits de commerce électronique pour le schéma du produit, les données de l'offre, la cohérence JSON-LD, le prix, la disponibilité, les attributs et la préparation à la recherche par l'IA.
Vérificateur de schéma Shopify
Vérificateur de schéma Shopify pour les pages de produits
Vérificateur de schéma Shopify gratuit pour les pages de produits. Analysez le schéma du produit, les offres de variantes, les métadonnées injectées par l'application, les signaux Shopify Markets et la préparation à la recherche par l'IA.