Robots.txt-Regeln
Review ob wichtige Produkt-URLs oder Crawlergruppen durch robots.txt blockiert werden, einschließlich Regeln für die Suche und AI Crawler-Benutzeragenten.
appsSEO-Tools
radarAI Crawler-Zugriffsprüfung
AI Crawler-Zugriffsprüfung für E-Commerce Product Seiten
Überprüfen Sie, ob Such- und AI-Crawler Ihre Produktseiten entdecken, abrufen, indizieren und ihnen vertrauen können, indem Sie robots.txt, Meta-Robots, X-Robots-Tag, Sitemap, canonical und gerenderte Seitensignale überprüfen.
check_circlerobots.txt und AI Bot-Regeln
check_circleMeta-Robots und X-Robots-Tag
check_circleSitemap und canonical Entdeckung
check_circleGerenderter Zugriff auf die Produktseite
System bereit
link
Keine Anmeldung erforderlich · Kostenloser Scan · Sofortiger Online-Bericht
Audit-Abdeckung
Was dieses Tool überprüft
Indexierungsrichtlinien
Überprüfen Sie Meta-Robots und X-Robots-Tag-Anweisungen, die das Indizieren oder Verfolgen von Links verhindern können, selbst wenn robots.txt den Abruf zulässt.
Entdeckungssignale
Sehen Sie sich die Sitemap, canonical, hreflang und interne Linksignale an, damit Crawler das bevorzugte Produkt URL finden können.
Gerenderter Zugriff
Identifizieren Sie Seiten, auf denen JavaScript, Weiterleitungen, Passwort-Gates, Geofencing oder App-Fehler Produktinformationen vor Crawlern verbergen.
Crawler-Zugriffskarte
Zugriffssignale trennt dieser Checker
Der Crawler-Zugriff ist kein einzelner Schalter. Eine Seite kann in robots.txt zugelassen, durch noindex blockiert, in Sitemaps fehlen, canonicalwegen entfernt oder für Browser lesbar, aber für Crawler unvollständig sein. Dieser Prüfer trennt jede Ebene, sodass Sie sehen können, welches Gate ein Risiko darstellt.
robots.txt und AI Bot-Regeln
robots.txt steuert, ob bestimmte Benutzeragenten einen URL abrufen dürfen. Es ist nützlich für die Crawling-Kontrolle, ist aber nicht dasselbe wie Indizierung, Ranking oder AI Sichtbarkeit.
Beispielsignale
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Was zu überprüfen ist
- check_circleProduct URLs werden nicht versehentlich durch allgemeine Disallow-Regeln blockiert.
- check_circleSuch-, Einkaufs- und AI-spezifische Benutzeragenten werden absichtlich und nicht durch kopierte und eingefügte Regeln gehandhabt.
- check_circleDer Sitemap-Speicherort wird angezeigt, wenn robots.txt als Erkennungshinweis verwendet wird.
Meta-Robots und X-Robots-Tag
Ein Crawler kann eine Seite abrufen und trotzdem angewiesen werden, sie nicht zu indizieren. Meta-Robots und HTTP-Header X-Robots-Tag erklären oft, warum ein Produkt URL auffindbar ist, aber in der Suche fehlt.
Beispielsignale
meta robots: noindex, nofollow; X-Robots-Tag: noindexWas zu überprüfen ist
- check_circleProduct-Seiten erben noindex nicht von Staging, Filtern oder App-Vorlagen.
- check_circleHeader und HTML-Direktiven stehen nicht in Konflikt miteinander.
- check_circleIndexierungsanweisungen stimmen mit dem canonical und dem Sitemap-Status der Seite überein.
Sitemap, canonical und Markterkennung
Sitemaps und canonicals teilen Crawlern mit, welches Produkt URL den Artikel darstellen soll. Eine Abweichung hiervon kann dazu führen, dass AI und Suchsysteme die falsche Variante, den falschen Markt oder den falschen Sammlungskontext erfassen.
Beispielsignale
sitemap.xml URL + canonical Produkt URL + hreflang MarktäquivalenteWas zu überprüfen ist
- check_circleDas bevorzugte Produkt URL erscheint in sitemap.xml.
- check_circleCanonical verweist auf die Produktseite, nicht auf eine gefilterte Sammlung oder veraltete Variante.
- check_circleLokalisierte Markt-URLs verwenden konsistente canonical- und hreflang-Beziehungen.
Gerenderte Produktfakten
AI und Suchcrawler benötigen die endgültigen Produktfakten, nicht nur eine leere Hülle. Renderingfehler können dazu führen, dass Schema-, Preis-, Verfügbarkeits- oder Produktattribute unsichtbar werden.
Beispielsignale
Gerendertes HTML: Product Schema, Preis, Verfügbarkeit, Attribute, Bewertungen, Rückgabe- und VersandkontextWas zu überprüfen ist
- check_circleKernfakten werden angezeigt, ohne dass eine Anmeldung, ein Warenkorbstatus oder eine Benutzerinteraktion erforderlich sind.
- check_circleJavaScript und App-Widgets verzögern kein kritisches Schema und bieten keine Daten über die Crawler-Erfassung hinaus.
- check_circleBot-Schutz, Weiterleitungen und Geofencing stellen Crawlern keine dünne oder blockierte Seite zur Verfügung.
Gemeinsame Blocker
Probleme, die es wert sind, zuerst behoben zu werden
Blockierte AI Crawler-Gruppen
Die Regeln können GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot und PerplexityBot nicht zulassen oder sich über Google-Extended abmelden. Breite Bot-Muster können auch versehentlich Produktseiten blockieren.
Kein Index für Produkt URLs
Eine Produktseite kann abrufbar sein, aber dennoch durch Meta-Robots oder X-Robots-Tag noindex-Anweisungen ausgeschlossen werden.
Sitemap oder canonical Drift
Crawler entdecken möglicherweise einen URL, während canonical, hreflang oder Sitemap-Einträge auf einen anderen Markt, eine andere Variante oder eine andere Sammlung URL verweisen.
Gerenderter Inhalt vor Bots verborgen
Durch verzögerte JavaScript, App-Widgets, Weiterleitungen oder Bot-Schutz können Preis, Verfügbarkeit, Schema oder Attribute von der für den Crawler sichtbaren Seite ferngehalten werden.
Arbeitsablauf
Von der URL zum Fixplan
01
Fügen Sie ein Live-Produkt ein URL
Verwenden Sie die öffentliche Produktseite, die Suchmaschinen und AI Systeme entdecken sollen, keine Vorschau oder Administratorseite URL.
02
Trennen Sie jede Zugriffsschicht
ShopGox prüft robots.txt, Seitenanweisungen, Sitemap und canonical-Signale sowie die gerenderte Produktausgabe zusammen.
03
Befestigen Sie zuerst das blockierende Tor
Verwenden Sie den Bericht, um zu entscheiden, ob der Fix zu robots.txt, Theme-Vorlagen, Headern, Sitemap-Einstellungen, App-Regeln oder Plattformkonfiguration gehört.
FAQ
Fragen vor dem Scannen
Garantiert die Zulassung eines AI-Crawlers die Sichtbarkeit von AI?expand_more
Nein. Nur Zugriff bedeutet, dass ein Crawler nicht daran gehindert wird, die Seite abzurufen. Die Sichtbarkeit von AI hängt immer noch von der Qualität der Produktdaten, der Autorität, der Aktualität, den Händlerdatenquellen und davon ab, ob das AI-System die Seite verwendet.
Ist robots.txt dasselbe wie noindex?expand_more
Nein. robots.txt steuert das Crawlen, während noindex steuert, ob eine abgerufene Seite indiziert werden kann. Eine Seite kann durch robots.txt zugelassen, aber durch Meta-Robots oder X-Robots-Tag ausgeschlossen werden.
Soll ich GPTBot, ClaudeBot oder PerplexityBot blockieren?expand_more
Das ist eine geschäftliche Entscheidung. Das Blockieren kann bestimmte AI-Schulungs- oder Abrufzugriffe einschränken, aber es kann auch die Wahrscheinlichkeit verringern, dass AI-Systeme Ihre Produktdaten erfassen. Der Checker hilft Ihnen zu sehen, was Ihre aktuellen Regeln bewirken.
Warum ist der Sitemap-Zugriff für die AI-Suche wichtig?expand_more
Mithilfe von Sitemaps können Crawler canonical Produkte URLs entdecken und wichtige Seiten erneut crawlen. Wenn Produktseiten in sitemap.xml, AI fehlen und Suchsysteme möglicherweise auf schwächere interne Links oder veraltete URLs angewiesen sind.
Können Shopify- oder E-Commerce-Apps versehentlich Crawler blockieren?expand_more
Ja. Designvorlagen, robots.txt.liquid-Änderungen, Passwort-Gates, Regionsregeln, Bewertungs-Apps, SEO-Apps, Bot-Schutz und WAF-Tools können verändern, was Crawler im Vergleich zu Käufern sehen.
Weitere Tools
Überprüfen Sie weiterhin die Produktsichtbarkeit
KI-Scanner für die Einkaufsbereitschaft
KI-Shopping-Readiness-Scanner für E-Commerce-Shops
Scannen Sie E-Commerce-Produktseiten auf KI-Suchbereitschaft, Produktschema, Crawler-Zugriffssignale, Produktattribute, semantische Klarheit und Konsistenz strukturierter Daten.
Produktschema-Checker
Kostenloser Produktschema-Checker für E-Commerce-Seiten
Überprüfen Sie E-Commerce-Produktseiten auf Produktschema, Angebotsdaten, JSON-LD-Konsistenz, Preis, Verfügbarkeit, Attribute und KI-Suchbereitschaft.
Shopify-Schema-Checker
Shopify Schema Checker für Produktseiten
Kostenloser Shopify-Schema-Checker für Produktseiten. Scannen Sie Produktschema, Variantenangebote, App-injizierte Metadaten, Shopify Markets-Signale und KI-Suchbereitschaft.