Zasady pliku robots.txt
Review, czy ważne produkty URL lub grupy przeszukiwaczy są blokowane przez robots.txt, w tym reguły mające na celu wyszukiwanie i AI agenty użytkownika przeszukiwacza.
appsNarzędzia SEO
radarAI Narzędzie sprawdzające dostęp robota
AI Narzędzie do sprawdzania dostępu robota dla e-commerce Product Strony
Sprawdź, czy roboty wyszukiwania i roboty indeksujące AI mogą odkrywać, pobierać, indeksować i ufać stronom Twoich produktów, przeglądając robots.txt, metaroboty, X-Robots-Tag, mapę witryny, canonical i sygnały wyrenderowanej strony.
check_circlerobots.txt i AI reguły botów
check_circleMetaroboty i X-Robots-Tag
check_circleMapa witryny i odkrycie canonical
check_circleRenderowany dostęp do strony produktu
System gotowy
link
Nie wymaga logowania · Bezpłatne skanowanie · Natychmiastowy raport online
Zakres audytu
Co sprawdza to narzędzie
Dyrektywy indeksacyjne
Sprawdź metaroboty i dyrektywy X-Robots-Tag, które mogą uniemożliwić indeksowanie lub śledzenie linków, nawet jeśli robots.txt zezwala na pobieranie.
Sygnały odkrycia
Przyjrzyj się mapie witryny, canonical, hreflang i sygnałom linków wewnętrznych, aby roboty mogły znaleźć preferowany produkt URL.
Udostępniony dostęp
Zidentyfikuj strony, na których JavaScript, przekierowania, bramki haseł, geofencing lub awarie aplikacji ukrywają informacje o produktach przed robotami indeksującymi.
Mapa dostępu dla gąsienic
Sygnały dostępu są oddzielane przez ten kontroler
Dostęp pełzający nie jest jednym przełącznikiem. Strona może zostać dopuszczona w robots.txt, zablokowana przez noindex, nieobecna w mapach witryn, canonical usunięta lub może być czytelna dla przeglądarek, ale niekompletna dla robotów indeksujących. Ten moduł sprawdzający oddziela każdą warstwę, dzięki czemu można zobaczyć, która bramka stwarza ryzyko.
robots.txt i AI reguły botów
robots.txt kontroluje, czy określone programy użytkownika mogą pobierać URL. Jest to przydatne do kontroli indeksowania, ale nie jest tym samym, co indeksowanie, ranking lub widoczność AI.
Przykładowe sygnały
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Co zweryfikować
- check_circleProduct URL nie są przypadkowo blokowane przez ogólne zasady Disallow.
- check_circleWyszukiwanie, zakupy i specyficzne dla AI programy klienckie użytkownika są obsługiwane celowo, a nie poprzez reguły polegające na kopiowaniu i wklejaniu.
- check_circleLokalizacja mapy witryny jest ujawniana, gdy robots.txt zostanie użyte jako wskazówka do odkrycia.
Metaroboty i X-Robots-Tag
Robot indeksujący może pobrać stronę i mimo to otrzymać informację, aby jej nie indeksować. Metaroboty i nagłówki HTTP X-Robots-Tag często wyjaśniają, dlaczego produkt URL można znaleźć, ale nie ma go w wyszukiwaniu.
Przykładowe sygnały
meta robots: noindex, nofollow; X-Robots-Tag: noindexCo zweryfikować
- check_circleStrony Product nie dziedziczą noindex z elementów przejściowych, filtrów ani szablonów aplikacji.
- check_circleNagłówki i dyrektywy HTML nie kolidują ze sobą.
- check_circleDyrektywy indeksowania odpowiadają canonical strony i stanowi mapy witryny.
Mapa witryny, canonical i odkrywanie rynku
Mapy witryn i canonical informują roboty indeksujące, który produkt URL powinien reprezentować dany przedmiot. Dryf tutaj może spowodować, że AI i systemy wyszukiwania wybiorą niewłaściwy wariant, rynek lub kontekst kolekcji.
Przykładowe sygnały
sitemap.xml URL + canonical produkt URL + hreflang odpowiedniki rynkoweCo zweryfikować
- check_circlePreferowany produkt URL pojawia się w sitemap.xml.
- check_circleCanonical wskazuje na stronę produktu, a nie przefiltrowaną kolekcję lub przestarzały wariant.
- check_circleZlokalizowane rynki URL korzystają ze spójnych relacji canonical i hreflang.
Renderowane fakty dotyczące produktu
AI i roboty wyszukujące potrzebują informacji o produkcie końcowym, a nie tylko pustej powłoki. Błędy renderowania mogą sprawić, że schemat, cena, dostępność lub atrybuty produktu będą niewidoczne.
Przykładowe sygnały
Renderowany kod HTML: Product schemat, cena, dostępność, atrybuty, recenzje, kontekst zwrotu i wysyłkiCo zweryfikować
- check_circlePodstawowe fakty pojawiają się bez konieczności logowania, stanu koszyka lub interakcji użytkownika.
- check_circleJavaScript i widżety aplikacji nie opóźniają krytycznego schematu ani nie oferują danych wykraczających poza zbieranie przez robota.
- check_circleOchrona przed botami, przekierowania i geofencing nie udostępniają robotom cienkich lub zablokowanych stron.
Typowe blokery
Problemy, które warto rozwiązać w pierwszej kolejności
Zablokowano grupy robotów AI
Reguły mogą uniemożliwiać GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot i PerplexityBot lub zrezygnować poprzez Google-Extended. Szerokie wzorce botów mogą również przypadkowo blokować strony produktów.
Brak indeksu produktu URLs
Stronę produktu można pobrać, ale nadal może ona zostać wykluczona przez metaroboty lub dyrektywy X-Robots-Tag noindex.
Mapa witryny lub dryf canonical
Roboty indeksujące mogą odkryć jeden URL, podczas gdy wpisy canonical, hreflang lub mapy witryny wskazują inny rynek, wariant lub kolekcję URL.
Renderowana treść ukryta przed botami
Opóźnione JavaScript, widżety aplikacji, przekierowania lub ochrona przed botami mogą sprawić, że cena, dostępność, schemat lub atrybuty nie będą widoczne na stronie widocznej dla robotów.
Przepływ pracy
Z adresu URL do planu naprawczego
01
Wklej aktywny produkt URL
Użyj publicznej strony produktu, którą mają odkryć wyszukiwarki i AI systemy, a nie podglądu lub administratora URL.
02
Oddziel każdą warstwę dostępu
ShopGox sprawdza robots.txt, dyrektywy strony, mapę witryny i sygnały canonical oraz razem wyrenderowany produkt.
03
Najpierw napraw bramkę blokującą
Skorzystaj z raportu, aby zdecydować, czy poprawka należy do robots.txt, szablonów motywów, nagłówków, ustawień mapy witryny, reguł aplikacji czy konfiguracji platformy.
Często zadawane pytania
Pytania przed skanowaniem
Czy zezwolenie na działanie robota AI gwarantuje widoczność AI?expand_more
Nie. Tylko dostęp oznacza, że pobieranie strony nie jest blokowane przez robota indeksującego. Widoczność AI nadal zależy od jakości danych produktów, autorytetu, aktualności, źródeł danych sprzedawców oraz od tego, czy system AI zdecyduje się korzystać ze strony.
Czy robots.txt to to samo co noindex?expand_more
Nie. robots.txt kontroluje indeksowanie, podczas gdy noindex kontroluje, czy pobrana strona może zostać zaindeksowana. Strona może zostać dozwolona przez robots.txt, ale wykluczona przez metaroboty lub X-Robots-Tag.
Czy powinienem zablokować GPTBot, ClaudeBot lub PerplexityBot?expand_more
To decyzja biznesowa. Blokowanie może ograniczyć dostęp do niektórych AI szkoleń lub pobierania, ale może również zmniejszyć ryzyko, że systemy AI zgromadzą informacje o Twoich produktach. Narzędzie sprawdzające pomaga sprawdzić, co robią Twoje obecne reguły.
Dlaczego dostęp do mapy witryny ma znaczenie dla wyszukiwania AI?expand_more
Mapy witryn pomagają robotom indeksującym odkryć canonical produktów URL i ponownie zaindeksować ważne strony. Jeśli brakuje stron produktów w sitemap.xml, AI, a systemy wyszukiwania mogą opierać się na słabszych linkach wewnętrznych lub nieaktualnych URL.
Czy Shopify lub aplikacje e-commerce mogą przypadkowo blokować roboty indeksujące?expand_more
Tak. Szablony motywów, zmiany robots.txt.liquid, bramki haseł, zasady regionalne, aplikacje do recenzji, aplikacje SEO, ochrona przed botami i narzędzia WAF mogą zmienić to, co widzą roboty w porównaniu z kupującymi.
Więcej narzędzi
Kontynuuj sprawdzanie widoczności produktu
Skaner gotowości zakupowej AI
Skaner gotowości na zakupy AI dla sklepów e-commerce
Skanuj strony produktów e-commerce pod kątem gotowości do wyszukiwania AI, schematu produktu, sygnałów dostępu dla robotów indeksujących, atrybutów produktów, przejrzystości semantycznej i spójności danych strukturalnych.
Kontroler schematu produktu
Bezpłatny moduł sprawdzania schematów produktów dla stron e-commerce
Sprawdź strony produktów e-commerce pod kątem schematu produktu, danych oferty, spójności JSON-LD, ceny, dostępności, atrybutów i gotowości do wyszukiwania AI.
Kontroler schematu Shopify
Narzędzie do sprawdzania schematu Shopify dla stron produktów
Bezpłatny moduł sprawdzania schematu Shopify dla stron produktów. Skanuj schemat produktu, oferty wariantów, metadane wprowadzone przez aplikację, sygnały Shopify Markets i gotowość wyszukiwania AI.