Accès des crawlers IA
Shopify robots.txt pour les robots d'exploration IA
Un guide pratique sur le fichier robots.txt de Shopify, l'accès aux robots d'exploration IA, les chemins privés, les risques Googlebot et la surveillance pour la visibilité des achats agents.
Les systèmes d'achat IA ne peuvent pas recommander ce qu'ils ne peuvent pas explorer, lire ou faire confiance. Pour les magasins Shopify, robots.txt est l'une des premières portes entre votre catalogue de produits et les moteurs de recherche, les assistants IA, les agents commerciaux et les robots d'exploration commerciaux.
Le but n'est pas de tout permettre. L'objectif est de garder accessibles les chemins importants des produits, des collections, des images et des données structurées tout en protégeant les chemins de panier, de paiement, de compte, de recherche, de filtre et d'utilitaires internes qui ne facilitent pas la découverte.
Robots.txt contrôle l'exploration, pas la qualité du contenu
Robots.txt indique aux robots d'exploration conformes les chemins qu'ils ne doivent pas demander. Il n'ajoute pas de schéma de produit, ne corrige pas les variantes en double, n'améliore pas les descriptions fines et ne garantit pas l'indexation. Considérez-le comme un contrôle d'accès pour les robots d'exploration, et non comme un substitut au référencement technique.
Ce que Shopify gère généralement bien par défaut
Conservez ces valeurs par défaut, sauf si vous avez une raison claire
- check_circleLes pages de produits et de collections doivent rester explorables.
- check_circleLes ressources statiques nécessaires au rendu du contenu du produit doivent rester explorables.
- check_circleLes chemins de panier, de paiement, de compte et de recherche interne ne nécessitent généralement pas d'accès au robot.
- check_circleLes chemins du plan du site doivent rester détectables.
- check_circleGooglebot ne doit pas être bloqué, sauf si vous souhaitez intentionnellement supprimer l'accès à la recherche Google.
Une politique d'exploration d'IA sensée pour Shopify
Pour un site de commerce électronique en phase de croissance, une politique équilibrée est généralement préférable à un blocage global. Autorisez les robots d'exploration capables de créer de la valeur de découverte, de protéger les chemins privés et de faible valeur et de surveiller les journaux ou les analyses CDN pour détecter tout trafic anormal.
Une politique d'exploration d'IA sensée pour Shopify
| Type de chemin | Politique recommandée | Pourquoi c'est important |
|---|---|---|
| Pages produits | Autoriser | Ils contiennent les informations commerciales dont les systèmes d'achats IA ont besoin. |
| Pages de collection | Autoriser | Ils aident les robots d'exploration à comprendre les catégories, les regroupements d'inventaires et les liens internes. |
| Images du produit | Autoriser | Les images prennent en charge la recherche visuelle, les aperçus et une compréhension plus riche du produit. |
| Panier et paiement | Interdire | Ils n'aident pas à la découverte et peuvent créer du gaspillage d'exploration. |
| Pages de compte client | Interdire | Ils sont privés ou de faible valeur pour une découverte publique. |
| Recherche interne et URL filtrées | Interdit généralement | Ils peuvent créer des chemins d'exploration en double ou infinis. |
| Plan du site | Autoriser | Il aide les robots d'exploration à trouver efficacement les URL canoniques. |
Exemples de règles Shopify robots.txt pour les robots d'exploration IA
Les magasins Shopify peuvent personnaliser les règles des robots via le modèle robots.txt.liquid du thème. Gardez les règles personnalisées petites, documentées et faciles à annuler. Ne copiez pas aveuglément une liste de blocage de robot d'exploration depuis un autre magasin.
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account
User-agent: Google-Extended
Disallow: /Google-Extended n'est pas la même chose que Googlebot
Google-Extended est un contrôle distinct pour certains cas de formation et d'utilisation de produits Google AI. Le blocage de Google-Extended est différent du blocage de Googlebot. Si votre priorité est la visibilité sur la recherche, ne les considérez jamais comme interchangeables.
Que surveiller après avoir modifié le fichier robots.txt
Vérifications après modification
- 1Ouvrez /robots.txt et confirmez que le fichier rendu final correspond à ce que vous attendiez.
- 2Vérifiez que les URL de produits et de collections ne sont pas bloquées pour Googlebot.
- 3Vérifiez que les URL du plan du site sont toujours accessibles.
- 4Exécutez une vérification de l'accès du robot d'exploration sur des pages de produits représentatives.
- 5Surveillez les analyses du serveur, du CDN ou de Shopify pour détecter les pics d'exploration.
- 6Conservez une note datée de chaque modification du fichier robots.txt afin de pouvoir revenir en arrière rapidement.
Erreurs courantes du fichier robots.txt de Shopify
Erreurs courantes du fichier robots.txt de Shopify
- errorBloquer tous les paramètres de requête lorsque des variantes d'URL importantes dépendent de paramètres.
- errorBlocage des dossiers d'images nécessaires aux aperçus de produits.
- errorBloquer Googlebot en essayant de bloquer uniquement les robots d'exploration d'IA.
- errorEn supposant que robots.txt puisse corriger le contenu en double par lui-même.
- errorOublier que certains robots d'exploration peuvent ignorer le fichier robots.txt ou utiliser des chaînes d'agent utilisateur changeantes.
FAQ
Les magasins Shopify devraient-ils bloquer les robots d'exploration IA ?keyboard_arrow_down
Pas par défaut. Si la visibilité des achats par l'IA est importante, autorisez l'accès des robots aux pages publiques de produits et de collections tout en bloquant les chemins privés ou de faible valeur tels que le panier, la caisse, le compte, la recherche et les filtres en double.
Le fichier robots.txt peut-il supprimer les pages de produits Shopify de Google ?keyboard_arrow_down
Robots.txt contrôle l'exploration. Si Google connaît déjà une URL, bloquer l’exploration n’est pas la même chose qu’une stratégie de noindex propre. Pour la recherche Google, veillez particulièrement à ne pas bloquer Googlebot des pages de produits importantes.
Shopify autorise-t-il la personnalisation du fichier robots.txt ?keyboard_arrow_down
Oui, Shopify prend en charge la personnalisation du fichier robots.txt via le modèle robots.txt.liquid du thème. Conservez les modifications de manière conservatrice et testez le fichier /robots.txt rendu après la publication.
Quelles URL Shopify doivent rester explorables pour les achats par l'IA ?keyboard_arrow_down
Les pages de produits, les pages de collection, les images de produits, les URL canoniques et les URL de plan de site doivent généralement rester explorables, car elles contiennent des informations sur les produits, le contexte de la catégorie et des liens de découverte.
Outils associés
AI Vérificateur d'accès au robot pour le commerce électronique Product Pages
Consultez les pages de produits de commerce électronique pour l'accès au robot d'exploration AI, les règles robots.txt, les méta-robots, X-Robots-Tag, la découverte du plan du site, les signaux canonical et la préparation à la recherche AI.
Vérificateur de schéma Shopify pour les pages de produits
Vérificateur de schéma Shopify gratuit pour les pages de produits. Analysez le schéma du produit, les offres de variantes, les métadonnées injectées par l'application, les signaux Shopify Markets et la préparation à la recherche par l'IA.
Vérificateur SEO Shopify pour pages produit, variantes, Markets et achat IA
Vérificateur SEO Shopify gratuit pour pages produit, schema de variantes, Liquid, apps SEO, avis, Markets, hreflang et achat IA.
Articles associés
Liste de contrôle de préparation au commerce agent Shopify
Une liste de contrôle pratique pour rendre les pages de produits Shopify plus faciles à comprendre, à comparer et à recommander pour les acheteurs IA et les agents d'achat.
Comment ajouter un schéma de produit dans Shopify
Un guide Shopify pratique pour ajouter des produits et des offres JSON-LD sans créer de conflits avec les thèmes, les applications de référencement, les applications d'évaluation, les variantes ou les marchés.