AI-crawlertoegang
Shopify robots.txt voor AI-crawlers
Een praktische gids voor Shopify robots.txt, AI-crawlertoegang, privépaden, Googlebot-risico's en monitoring voor agentic shopping-zichtbaarheid.
AI-winkelsystemen kunnen niet aanbevelen wat ze niet kunnen crawlen, lezen of vertrouwen. Voor Shopify-winkels is robots.txt een van de eerste poorten tussen uw productcatalogus en zoekmachines, AI-assistenten, winkelagenten en commerciële crawlers.
Het doel is niet om alles toe te staan. Het doel is om belangrijke product-, collectie-, afbeeldings- en gestructureerde gegevenspaden toegankelijk te houden en tegelijkertijd de winkelwagen-, betaal-, account-, zoek-, filter- en interne hulpprogrammapaden te beschermen die de ontdekking niet bevorderen.
Robots.txt controleert het crawlen, niet de inhoudskwaliteit
Robots.txt vertelt crawlers welke paden ze niet mogen opvragen. Het voegt geen productschema toe, repareert dubbele varianten, verbetert dunne beschrijvingen of garandeert geen indexering. Beschouw het als toegangscontrole voor crawlers, niet als vervanging voor technische SEO.
Wat Shopify normaal gesproken standaard goed verwerkt
Behoud deze standaardwaarden, tenzij je een duidelijke reden hebt
- check_circleProduct- en collectiepagina's moeten crawlbaar blijven.
- check_circleStatische items die nodig zijn om productinhoud weer te geven, moeten crawlbaar blijven.
- check_circleWinkelwagen, betaal-, account- en interne zoekpaden hebben doorgaans geen crawlertoegang nodig.
- check_circleSitemappaden moeten vindbaar blijven.
- check_circleGooglebot mag niet worden geblokkeerd, tenzij u opzettelijk de toegang tot Google Zoeken wilt intrekken.
Een gezond AI-crawlerbeleid voor Shopify
Voor een e-commercesite in de groeifase is een evenwichtig beleid doorgaans beter dan een algemene blokkade. Sta crawlers toe die ontdekkingswaarde kunnen creëren, privépaden en paden met een lage waarde kunnen beschermen en logboeken of CDN-analyses kunnen controleren op abnormaal verkeer.
Een gezond AI-crawlerbeleid voor Shopify
| Padtype | Aanbevolen beleid | Waarom het ertoe doet |
|---|---|---|
| Productpagina's | Toestaan | Ze bevatten de commerciële feiten die AI-winkelsystemen nodig hebben. |
| Verzamelpagina's | Toestaan | Ze helpen crawlers categorieën, voorraadgroepen en interne links te begrijpen. |
| Productafbeeldingen | Toestaan | Afbeeldingen ondersteunen visueel zoeken, previews en een beter begrip van producten. |
| Winkelwagen en afrekenen | Niet toestaan | Ze helpen de ontdekking niet en kunnen crawlafval veroorzaken. |
| Klantaccountpagina's | Niet toestaan | Ze zijn privé of van lage waarde voor publieke ontdekking. |
| Interne zoek- en gefilterde URL's | Meestal niet toestaan | Ze kunnen dubbele of oneindige crawlpaden maken. |
| Sitemap | Toestaan | Het helpt crawlers canonieke URL's efficiënt te vinden. |
Voorbeeld Shopify robots.txt-regels voor AI-crawlers
Shopify-winkels kunnen robotsregels aanpassen via de robots.txt.liquid-sjabloon van het thema. Houd aangepaste regels klein, gedocumenteerd en gemakkelijk terug te draaien. Kopieer een crawler-blokkeerlijst niet blindelings uit een andere winkel.
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account
User-agent: Google-Extended
Disallow: /Google-Extended is niet hetzelfde als Googlebot
Google-Extended is een afzonderlijk besturingselement voor bepaalde Google AI-trainingen en productgebruiksscenario's. Het blokkeren van Google-Extended verschilt van het blokkeren van Googlebot. Als uw prioriteit de zichtbaarheid in het zoeknetwerk is, beschouw ze dan nooit als uitwisselbaar.
Wat u moet controleren na het wijzigen van robots.txt
Controles na wijziging
- 1Open /robots.txt en bevestig dat het uiteindelijk weergegeven bestand is wat je had verwacht.
- 2Controleer of product- en collectie-URL's niet worden geblokkeerd voor Googlebot.
- 3Controleer of sitemap-URL's nog steeds toegankelijk zijn.
- 4Voer een crawlertoegangscontrole uit op representatieve productpagina's.
- 5Houd de server-, CDN- of Shopify-analyse in de gaten voor crawlpieken.
- 6Houd een gedateerde notitie bij van elke wijziging in robots.txt, zodat je deze snel kunt terugdraaien.
Veel voorkomende Shopify robots.txt-fouten
Veel voorkomende Shopify robots.txt-fouten
- errorAlle queryparameters blokkeren wanneer belangrijke variant-URL's afhankelijk zijn van parameters.
- errorBlokkeren van afbeeldingsmappen die nodig zijn voor productvoorbeelden.
- errorGooglebot blokkeren terwijl wordt geprobeerd alleen AI-trainingscrawlers te blokkeren.
- errorErvan uitgaande dat robots.txt dubbele inhoud zelf kan repareren.
- errorVergeten dat sommige crawlers robots.txt negeren of veranderende user-agent-tekenreeksen gebruiken.
FAQ
Moeten Shopify-winkels AI-crawlers blokkeren?keyboard_arrow_down
Niet standaard. Als de zichtbaarheid van AI-winkelen belangrijk is, geef dan crawlertoegang tot openbare product- en collectiepagina's en blokkeer privépaden of paden met een lage waarde, zoals winkelwagen-, afreken-, account-, zoek- en dubbele filters.
Kan robots.txt Shopify-productpagina's van Google verwijderen?keyboard_arrow_down
Robots.txt controleert het crawlen. Als Google al een URL kent, is het blokkeren van crawlen niet hetzelfde als een schone noindex-strategie. Zorg er bij Google Zoeken vooral voor dat u Googlebot niet blokkeert van belangrijke productpagina's.
Staat Shopify robots.txt-aanpassing toe?keyboard_arrow_down
Ja, Shopify ondersteunt robots.txt-aanpassing via de robots.txt.liquid-sjabloon van het thema. Houd de wijzigingen conservatief en test het weergegeven bestand /robots.txt na publicatie.
Welke Shopify-URL's moeten crawlbaar blijven voor AI-shopping?keyboard_arrow_down
Productpagina's, collectiepagina's, productafbeeldingen, canonieke URL's en sitemap-URL's moeten normaal gesproken crawlbaar blijven omdat ze productfeiten, categoriecontext en ontdekkingslinks bevatten.
Gerelateerde tools
AI Crawlertoegangscontrole voor e-commerce Product Pagina's
Controleer e-commerceproductpagina's op AI crawlertoegang, robots.txt regels, meta-robots, X-Robots-Tag, ontdekking van sitemaps, canonical signalen en AI zoekgereedheid.
Shopify Schemachecker voor productpagina's
Gratis Shopify-schemacontrole voor productpagina's. Scan het productschema, variantaanbiedingen, app-geïnjecteerde metadata, Shopify Markets-signalen en AI-zoekgereedheid.
Scan Shopify-productpagina's voor SEO en AI-zoekgereedheid
Gratis Shopify-productpaginascanner voor schemaconflicten, variantgegevens, app-geïnjecteerde metadata, Markets hreflang en AI-zoekgereedheid.
Gerelateerde posts
Shopify Agentic Commerce-gereedheidchecklist
Een praktische checklist om Shopify-productpagina's gemakkelijker te maken voor AI-shoppers en inkoopagenten om ze te begrijpen, te vergelijken en aan te bevelen.
Productschema toevoegen in Shopify
Een praktische Shopify-gids voor het toevoegen van JSON-LD van producten en aanbiedingen zonder conflicten te creëren met thema's, SEO-apps, recensie-apps, varianten of markten.