Robots.txt-regels
Review of belangrijke product-URLs of crawlergroepen worden geblokkeerd door robots.txt, inclusief regels gericht op zoeken en AI crawler user agents.
appsSEO-hulpmiddelen
radarAI Crawlertoegangscontrole
AI Crawlertoegangscontrole voor e-commerce Product Pagina's
Controleer of zoek- en AI-crawlers uw productpagina's kunnen ontdekken, ophalen, indexeren en vertrouwen door robots.txt, meta-robots, X-Robots-Tag, sitemap, canonical en weergegeven paginasignalen te beoordelen.
check_circlerobots.txt en AI botregels
check_circleMeta-robots en X-Robots-Tag
check_circleSitemap en canonical ontdekking
check_circleToegang tot productpagina's weergegeven
Systeem gereed
link
Geen login vereist · Gratis scan · Direct online rapport
Auditdekking
Wat dit hulpprogramma controleert
Indexeringsrichtlijnen
Controleer meta-robots en X-Robots-Tag richtlijnen die het indexeren of volgen van links kunnen voorkomen, zelfs als robots.txt het ophalen toestaat.
Ontdekkingssignalen
Kijk naar de sitemap, canonical, hreflang en signalen van interne links, zodat crawlers het gewenste product URL kunnen vinden.
Teruggegeven toegang
Identificeer pagina's waar JavaScript, omleidingen, wachtwoordpoorten, geofencing of app-fouten productfeiten verbergen voor crawlers.
Crawlertoegangskaart
Toegangssignalen die deze checker scheidt
Crawlertoegang is niet één schakelaar. Een pagina kan worden toegestaan in robots.txt, geblokkeerd door noindex, ontbrekend in sitemaps, canonicalverwijderd of leesbaar voor browsers, maar onvolledig voor crawlers. Deze checker scheidt elke laag, zodat u kunt zien welke poort risico creëert.
robots.txt en AI botregels
robots.txt bepaalt of specifieke user agents een URL mogen ophalen. Het is handig voor crawlcontrole, maar het is niet hetzelfde als indexeren, rangschikken of AI zichtbaarheid.
Voorbeeld signalen
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Wat te verifiëren
- check_circleProduct URLs worden niet per ongeluk geblokkeerd door brede Disallow regels.
- check_circleZoek-, winkel- en AI-specifieke user agents worden opzettelijk afgehandeld in plaats van via regels die zijn gekopieerd en geplakt.
- check_circleDe sitemaplocatie wordt zichtbaar wanneer robots.txt wordt gebruikt als detectiehint.
Meta-robots en X-Robots-Tag
Een crawler kan een pagina ophalen en toch te horen krijgen dat hij deze niet mag indexeren. Meta-robots en HTTP X-Robots-Tag headers verklaren vaak waarom een product URL vindbaar is, maar afwezig is in de zoekresultaten.
Voorbeeld signalen
meta robots: noindex, nofollow; X-Robots-Tag: noindexWat te verifiëren
- check_circleProduct pagina's nemen noindex niet over van staging, filters of app-sjablonen.
- check_circleHeaders en HTML-richtlijnen conflicteren niet met elkaar.
- check_circleIndexeringsinstructies komen overeen met de canonical en sitemapstatus van de pagina.
Sitemap, canonical en marktontdekking
Sitemaps en canonicals vertellen crawlers welk product URL het artikel moet vertegenwoordigen. Als u hierheen beweegt, kan AI ertoe leiden dat zoeksystemen de verkeerde variant, markt of collectiecontext verzamelen.
Voorbeeld signalen
sitemap.xml URL + canonical product URL + hreflang marktequivalentenWat te verifiëren
- check_circleHet voorkeursproduct URL verschijnt in sitemap.xml.
- check_circleCanonieke verwijst naar de productpagina, niet naar een gefilterde collectie of verouderde variant.
- check_circleGelokaliseerde markten URLs gebruiken consistente canonical en hreflang relaties.
Weergegeven productfeiten
AI en zoekcrawlers hebben de uiteindelijke productfeiten nodig, niet alleen een lege huls. Renderfouten kunnen schema-, prijs-, beschikbaarheids- of productkenmerken onzichtbaar maken.
Voorbeeld signalen
Teruggegeven HTML: Product schema, prijs, beschikbaarheid, attributen, recensies, retour- en verzendcontextWat te verifiëren
- check_circleKernfeiten verschijnen zonder dat login, winkelwagenstatus of gebruikersinteractie vereist is.
- check_circleJavaScript en app-widgets vertragen geen kritiek schema en bieden geen gegevens die verder gaan dan de crawlerverzameling.
- check_circleBotbescherming, omleidingen en geofencing bieden crawlers geen dunne of geblokkeerde pagina.
Gemeenschappelijke blokkers
Problemen die de moeite waard zijn om eerst op te lossen
Geblokkeerde AI crawlergroepen
Regels kunnen GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot en PerplexityBot verbieden, of je afmelden via Google-Extended. Brede botpatronen kunnen ook per ongeluk productpagina's blokkeren.
Geen index op product URLs
Een productpagina kan worden opgehaald, maar nog steeds worden uitgesloten door meta-robots of X-Robots-Tag noindex richtlijnen.
Sitemap of canonical drift
Crawlers kunnen één URL ontdekken terwijl canonical, hreflang of sitemap-items verwijzen naar een andere markt, variant of collectie URL.
Gesmolten inhoud verborgen voor bots
Vertraagde JavaScript, app-widgets, omleidingen of botbescherming kunnen de prijs, beschikbaarheid, schema of kenmerken buiten de voor crawlers zichtbare pagina houden.
Werkstroom
Van URL tot Fixplan
01
Plak een live product URL
Gebruik de openbare productpagina die u door zoekmachines en AI-systemen wilt laten ontdekken, niet een voorbeeld of beheerderspagina URL.
02
Scheid elke toegangslaag
ShopGox controleert robots.txt, pagina-instructies, sitemap- en canonical-signalen en de weergegeven productuitvoer samen.
03
Bevestig eerst het blokkerende hek
Gebruik het rapport om te beslissen of de oplossing thuishoort in robots.txt, themasjablonen, headers, sitemapinstellingen, app-regels of platformconfiguratie.
Veelgestelde vragen
Vragen voordat u gaat scannen
Garandeert het toestaan van een AI crawler AI zichtbaarheid?expand_more
Nee. Toegang betekent alleen dat een crawler de pagina niet kan ophalen. De zichtbaarheid van AI hangt nog steeds af van de kwaliteit van de productgegevens, de autoriteit, de recentheid, gegevensbronnen van verkopers en of het AI-systeem ervoor kiest de pagina te gebruiken.
Is robots.txt hetzelfde als noindex?expand_more
Nee. robots.txt regelt het crawlen, terwijl noindex bepaalt of een opgehaalde pagina kan worden geïndexeerd. Een pagina kan worden toegestaan door robots.txt, maar uitgesloten door meta-robots of X-Robots-Tag.
Moet ik GPTBot, ClaudeBot of PerplexityBot blokkeren?expand_more
Dat is een zakelijke beslissing. Blokkeren kan bepaalde AI training- of ophaaltoegang beperken, maar het kan ook de kans verkleinen dat AI systemen uw productgegevens verzamelen. De checker helpt u te zien wat uw huidige regels doen.
Waarom is sitemaptoegang belangrijk voor zoekopdrachten in AI?expand_more
Sitemaps helpen crawlers canonical producten URLs te ontdekken en belangrijke pagina's opnieuw te crawlen. Als productpagina's ontbreken in sitemap.xml, kunnen AI en zoeksystemen vertrouwen op zwakkere interne links of verouderde URLs.
Kunnen Shopify- of e-commerce-apps per ongeluk crawlers blokkeren?expand_more
Ja. Themasjablonen, robots.txt.liquid bewerkingen, wachtwoordpoorten, regioregels, beoordelingsapps, SEO apps, botbescherming en WAF tools kunnen veranderen wat crawlers zien in vergelijking met shoppers.
Meer hulpmiddelen
Blijf de productzichtbaarheid controleren
AI-winkelbereidheidsscanner
AI Shopping Readiness Scanner voor e-commerce winkels
Scan e-commerceproductpagina's op AI-zoekgereedheid, productschema, crawlertoegangssignalen, productkenmerken, semantische duidelijkheid en gestructureerde gegevensconsistentie.
Productschemacontrole
Gratis productschemacontrole voor e-commercepagina's
Controleer e-commerceproductpagina's op productschema, aanbiedingsgegevens, JSON-LD-consistentie, prijs, beschikbaarheid, kenmerken en AI-zoekgereedheid.
Shopify-schemacontrole
Shopify Schemachecker voor productpagina's
Gratis Shopify-schemacontrole voor productpagina's. Scan het productschema, variantaanbiedingen, app-geïnjecteerde metadata, Shopify Markets-signalen en AI-zoekgereedheid.