Regole Robots.txt
Review se prodotti importanti URL o gruppi di crawler sono bloccati da robots.txt, comprese le regole mirate alla ricerca e agli user agent del crawler AI.
appsStrumenti SEO
radarAI Controllo accesso crawler
AI Controllo accesso crawler per e-commerce Product Pagine
Verifica se i crawler di ricerca e AI possono scoprire, recuperare, indicizzare e considerare attendibili le pagine dei tuoi prodotti esaminando robots.txt, meta robot, X-Robots-Tag, mappa del sito, canonical e indicatori di pagine visualizzate.
check_circleRegole bot robots.txt e AI
check_circleMeta robot e X-Robots-Tag
check_circleMappa del sito e canonical scoperta
check_circleAccesso alla pagina del prodotto renderizzato
Sistema pronto
link
Nessun accesso richiesto · Scansione gratuita · Report online istantaneo
Copertura dell'audit
Cosa controlla questo strumento
Direttive di indicizzazione
Controlla i meta robot e le direttive X-Robots-Tag che possono impedire l'indicizzazione o il seguito dei collegamenti anche quando robots.txt consente il recupero.
Segnali di scoperta
Guarda la mappa del sito, canonical, hreflang e i segnali di collegamento interno in modo che i crawler possano trovare il prodotto preferito URL.
Accesso reso
Identifica le pagine in cui JavaScript, reindirizzamenti, controlli delle password, geofencing o errori delle app nascondono informazioni sui prodotti ai crawler.
Mappa di accesso del crawler
Segnali di accesso che questo controllo separa
L'accesso del crawler non è un interruttore. Una pagina può essere consentita in robots.txt, bloccata da noindex, mancante dalle mappe dei siti, canonical rimossa o leggibile dai browser ma incompleta per i crawler. Questo controllo separa ogni livello in modo da poter vedere quale cancello crea rischio.
Regole bot robots.txt e AI
robots.txt controlla se specifici agenti utente sono autorizzati a recuperare un URL. È utile per il controllo della scansione, ma non è la stessa cosa dell'indicizzazione, del posizionamento o della visibilità AI.
Segnali di esempio
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Cosa verificare
- check_circleGli Product URL non vengono bloccati accidentalmente da regole generali di Disallow.
- check_circleLa ricerca, lo shopping e gli user agent specifici di AI vengono gestiti intenzionalmente anziché tramite regole copia-incollate.
- check_circleLa posizione della mappa del sito viene esposta quando robots.txt viene utilizzato come suggerimento per la scoperta.
Meta robot e X-Robots-Tag
Un crawler può recuperare una pagina e tuttavia sentirsi dire di non indicizzarla. I meta robot e le intestazioni HTTP X-Robots-Tag spesso spiegano perché un prodotto URL è rilevabile ma assente dalla ricerca.
Segnali di esempio
meta robots: noindex, nofollow; X-Robots-Tag: noindexCosa verificare
- check_circleLe pagine Product non ereditano noindex da gestione temporanea, filtri o modelli di app.
- check_circleLe intestazioni e le direttive HTML non sono in conflitto tra loro.
- check_circleLe direttive di indicizzazione corrispondono allo canonical della pagina e allo stato della mappa del sito.
Mappa del sito, canonical e scoperta del mercato
Le Sitemap e gli canonical indicano ai crawler quale prodotto URL dovrebbe rappresentare l'articolo. Una deriva qui può far sì che AI e i sistemi di ricerca raccolgano la variante, il mercato o il contesto di raccolta sbagliato.
Segnali di esempio
sitemap.xml URL + canonical prodotto URL + hreflang equivalenti di mercatoCosa verificare
- check_circleIl prodotto preferito URL appare in sitemap.xml.
- check_circleCanonical punta alla pagina del prodotto, non a una raccolta filtrata o a una variante obsoleta.
- check_circleI mercati localizzati URL utilizzano relazioni canonical e hreflang coerenti.
Fatti del prodotto reso
AI e i crawler di ricerca hanno bisogno dei dati del prodotto finale, non solo di un guscio vuoto. Gli errori di rendering possono rendere invisibili lo schema, il prezzo, la disponibilità o gli attributi del prodotto.
Segnali di esempio
HTML visualizzato: schema Product, prezzo, disponibilità, attributi, recensioni, contesto di restituzione e spedizioneCosa verificare
- check_circleI fatti principali vengono visualizzati senza richiedere l'accesso, lo stato del carrello o l'interazione dell'utente.
- check_circleJavaScript e i widget dell'app non ritardano lo schema critico né offrono dati oltre la raccolta del crawler.
- check_circleLa protezione bot, i reindirizzamenti e il geofencing non forniscono ai crawler una pagina sottile o bloccata.
Bloccanti comuni
Problemi che vale la pena risolvere prima
Gruppi di crawler AI bloccati
Le regole potrebbero non consentire GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot e PerplexityBot oppure disattivarle tramite Google-Extended. I modelli di bot più ampi possono anche bloccare accidentalmente le pagine dei prodotti.
Noindex sul prodotto URLs
Una pagina di prodotto può essere recuperabile ma comunque esclusa dai meta robot o dalle direttive X-Robots-Tag noindex.
Mappa del sito o canonical deriva
I crawler potrebbero scoprire un URL mentre canonical, hreflang o le voci della mappa del sito puntano a un mercato, variante o collezione diversa URL.
Contenuti renderizzati nascosti ai bot
JavaScript ritardato, widget di app, reindirizzamenti o protezione bot possono mantenere prezzo, disponibilità, schema o attributi fuori dalla pagina visibile al crawler.
Flusso di lavoro
Dall'URL al piano fisso
01
Incolla un prodotto attivo URL
Utilizza la pagina pubblica del prodotto che desideri venga scoperta dai motori di ricerca e dai sistemi AI, non un'anteprima o l'amministratore URL.
02
Separare ogni livello di accesso
ShopGox controlla insieme robots.txt, le direttive della pagina, la mappa del sito e i segnali canonical e l'output del prodotto visualizzato.
03
Riparare prima il cancello di blocco
Utilizza il report per decidere se la correzione appartiene a robots.txt, modelli di temi, intestazioni, impostazioni della mappa del sito, regole dell'app o configurazione della piattaforma.
Domande frequenti
Domande prima della scansione
Consentire un crawler AI garantisce visibilità AI?expand_more
No. L'accesso significa solo che al crawler non viene impedito di recuperare la pagina. La visibilità di AI dipende ancora dalla qualità, dall'autorità, dall'aggiornamento dei dati del prodotto, dalle origini dei dati del commerciante e dal fatto che il sistema AI scelga di utilizzare la pagina.
robots.txt è uguale a noindex?expand_more
No. robots.txt controlla la scansione, mentre noindex controlla se una pagina recuperata può essere indicizzata. Una pagina può essere consentita da robots.txt ma esclusa da meta robot o X-Robots-Tag.
Devo bloccare GPTBot, ClaudeBot o PerplexityBot?expand_more
Questa è una decisione aziendale. Il blocco può ridurre determinati accessi alla formazione o al recupero di AI, ma può anche ridurre la possibilità che i sistemi AI raccolgano informazioni sui tuoi prodotti. Il controllo ti aiuta a vedere cosa stanno facendo le tue regole attuali.
Perché l'accesso alla mappa del sito è importante per la ricerca AI?expand_more
Le Sitemap aiutano i crawler a scoprire i canonical prodotti URL e a ripetere la scansione delle pagine importanti. Se le pagine dei prodotti mancano da sitemap.xml, AI e i sistemi di ricerca potrebbero fare affidamento su collegamenti interni più deboli o URL obsoleti.
Shopify o le app di e-commerce possono bloccare accidentalmente i crawler?expand_more
Sì. Modelli di temi, modifiche robots.txt.liquid, controlli password, regole regionali, app di recensione, app SEO, protezione bot e strumenti WAF possono cambiare ciò che vedono i crawler rispetto agli acquirenti.
Più strumenti
Continua a controllare la visibilità del prodotto
Scanner per la preparazione agli acquisti tramite intelligenza artificiale
Scanner di preparazione allo shopping AI per negozi di e-commerce
Scansiona le pagine dei prodotti e-commerce per verificare la disponibilità della ricerca AI, lo schema del prodotto, i segnali di accesso del crawler, gli attributi del prodotto, la chiarezza semantica e la coerenza dei dati strutturati.
Controllo dello schema del prodotto
Controllo gratuito dello schema del prodotto per le pagine di e-commerce
Controlla le pagine dei prodotti e-commerce per schema del prodotto, dati dell'offerta, coerenza JSON-LD, prezzo, disponibilità, attributi e disponibilità della ricerca AI.
Controllo dello schema di Shopify
Controllo schema Shopify per le pagine dei prodotti
Controllo gratuito dello schema Shopify per le pagine dei prodotti. Scansione dello schema del prodotto, delle offerte di varianti, dei metadati inseriti nell'app, dei segnali di Shopify Markets e della disponibilità della ricerca AI.