Robots.txt Kuralları
Review önemli ürün URL'lerin veya tarayıcı gruplarının, aramayı ve AI tarayıcı kullanıcı aracılarını hedefleyen kurallar da dahil olmak üzere robots.txt tarafından engellenip engellenmediği.
appsSEO Araçları
radarAI Tarayıcı Erişim Denetleyicisi
AI E-ticaret için Tarayıcı Erişim Denetleyicisi Product Sayfalar
robots.txt, meta robotları, X-Robots-Tag, site haritasını, canonical ve oluşturulan sayfa sinyallerini inceleyerek arama ve AI tarayıcılarının ürün sayfalarınızı keşfedip getiremeyeceğini, dizine ekleyip ekleyemeyeceğini ve güvenip güvenemeyeceğini kontrol edin.
check_circlerobots.txt ve AI bot kuralları
check_circleMeta robotlar ve X-Robots-Tag
check_circleSite Haritası ve canonical keşfi
check_circleOluşturulan ürün sayfası erişimi
Sistem hazır
link
Oturum açmanıza gerek yok · Ücretsiz tarama · Anında çevrimiçi rapor
Denetim Kapsamı
Bu Araç Neleri Kontrol Ediyor?
İndeksleme Direktifleri
robots.txt getirmeye izin verdiğinde bile indekslemeyi veya bağlantıları takip etmeyi engelleyebilecek meta robotları ve X-Robots-Tag yönergelerini kontrol edin.
Keşif Sinyalleri
Tarayıcıların tercih edilen ürünü URL bulabilmesi için site haritasına, canonical, hreflang ve dahili bağlantı sinyallerine bakın.
Oluşturulan Erişim
JavaScript, yönlendirmelerin, şifre geçitlerinin, coğrafi sınırlamanın veya uygulama hatalarının ürün gerçeklerini tarayıcılardan gizlediği sayfaları tanımlayın.
Tarayıcı Erişim Haritası
Bu denetleyicinin ayırdığı sinyallere erişim
Tarayıcı erişimi tek bir anahtar değildir. Bir sayfaya robots.txt içinde izin verilebilir, noindex tarafından engellenebilir, site haritalarında eksik olabilir, canonicaluzaklaştırılabilir veya tarayıcılar tarafından okunabilir ancak tarayıcılar için tamamlanmamış olabilir. Bu denetleyici, hangi kapının risk yarattığını görebilmeniz için her katmanı ayırır.
robots.txt ve AI bot kuralları
robots.txt, belirli kullanıcı aracılarının URL almasına izin verilip verilmediğini kontrol eder. Tarama kontrolü için kullanışlıdır ancak dizine ekleme, sıralama veya AI görünürlük ile aynı şey değildir.
Örnek sinyaller
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Doğrulanması gerekenler
- check_circleProduct URL'ler geniş Disallow kuralları tarafından yanlışlıkla engellenmez.
- check_circleArama, alışveriş ve AI'e özgü kullanıcı aracıları, kopyalanıp yapıştırılan kurallar yerine bilinçli olarak gerçekleştirilir.
- check_circleSite haritası konumu, keşif ipucu olarak robots.txt kullanıldığında ortaya çıkar.
Meta robotlar ve X-Robots-Tag
Bir tarayıcıya bir sayfayı getirmesine rağmen onu dizine eklememesi söylenebilir. Meta robotlar ve HTTP X-Robots-Tag başlıkları genellikle URL ürününün neden keşfedilebilir olduğunu ancak aramada bulunmadığını açıklar.
Örnek sinyaller
meta robots: noindex, nofollow; X-Robots-Tag: noindexDoğrulanması gerekenler
- check_circleProduct sayfaları, hazırlama, filtreler veya uygulama şablonlarından noindex devralmaz.
- check_circleBaşlıklar ve HTML yönergeleri birbiriyle çakışmaz.
- check_circleDizine ekleme yönergeleri sayfanın canonical ve site haritası durumuyla eşleşir.
Site haritası, canonical ve pazar keşfi
Site haritaları ve canonical'ler tarayıcılara hangi URL ürününün öğeyi temsil etmesi gerektiğini söyler. Buradaki sürüklenme AI'e neden olabilir ve arama sistemleri yanlış varyantı, pazarı veya koleksiyon içeriğini toplayabilir.
Örnek sinyaller
sitemap.xml URL + canonical ürün URL + hreflang pazar eşdeğerleriDoğrulanması gerekenler
- check_circleTercih edilen ürün URL sitemap.xml'de görünüyor.
- check_circleKanonik, filtrelenmiş bir koleksiyona veya eski bir varyanta değil, ürün sayfasına işaret eder.
- check_circleYerelleştirilmiş pazar URL'ler tutarlı canonical ve hreflang ilişkilerini kullanır.
İşlenen ürün gerçekleri
AI ve arama tarayıcılarının yalnızca boş bir kabuğa değil, nihai ürün bilgilerine ihtiyacı vardır. İşleme hataları şemayı, fiyatı, stok durumunu veya ürün özelliklerini görünmez hale getirebilir.
Örnek sinyaller
Oluşturulan HTML: Product şeması, fiyat, stok durumu, özellikler, yorumlar, iade ve gönderim bağlamıDoğrulanması gerekenler
- check_circleTemel gerçekler, oturum açma, alışveriş sepeti durumu veya kullanıcı etkileşimi gerektirmeden görünür.
- check_circleJavaScript ve uygulama widget'ları kritik şemayı geciktirmez veya tarayıcının toplamasının ötesinde veri sunmaz.
- check_circleBot koruması, yönlendirmeler ve coğrafi sınırlama, tarayıcılara zayıf veya engellenmiş bir sayfa sunmaz.
Yaygın Engelleyiciler
Öncelikle Düzeltilmesi Gereken Sorunlar
AI tarayıcı grubu engellendi
Kurallar GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot ve PerplexityBot'e izin vermeyebilir veya Google-Extended aracılığıyla devre dışı bırakabilir. Geniş bot kalıpları ürün sayfalarını da kazara engelleyebilir.
URLs ürününde Noindex
Bir ürün sayfası getirilebilir ancak yine de meta robotlar veya X-Robots-Tag noindex yönergeleri tarafından hariç tutulabilir.
Site Haritası veya canonical kayması
Tarayıcılar bir URL keşfedebilirken canonical, hreflang veya site haritası girişleri farklı bir pazara, varyanta veya koleksiyona URL işaret edebilir.
Oluşturulan içerik botlardan gizlendi
Gecikmeli JavaScript, uygulama widget'ları, yönlendirmeler veya bot koruması, fiyatı, stok durumunu, şemayı veya özellikleri tarayıcının görebildiği sayfanın dışında tutabilir.
İş akışı
URL'den Düzeltme Planına
01
Yayındaki bir ürünü yapıştırın URL
Önizleme veya yönetici değil, arama motorlarının ve AI sistemlerinin keşfetmesini istediğiniz genel ürün sayfasını kullanın URL.
02
Her erişim katmanını ayırın
ShopGox, robots.txt, sayfa yönergelerini, site haritasını ve canonical sinyallerini ve oluşturulan ürün çıktısını birlikte kontrol eder.
03
Önce engelleyici kapıyı düzeltin
Düzeltmenin robots.txt'ya mı, tema şablonlarına mı, başlıklara mı, site haritası ayarlarına mı, uygulama kurallarına mı yoksa platform yapılandırmasına mı ait olduğuna karar vermek için raporu kullanın.
SSS
Taramadan Önce Sorular
AI tarayıcısına izin vermek AI görünürlüğünü garanti eder mi?expand_more
Hayır. Yalnızca erişim, tarayıcının sayfayı getirmesinin engellenmediği anlamına gelir. AI görünürlüğü hâlâ ürün veri kalitesine, yetkiye, güncelliğe, satıcı veri kaynaklarına ve AI sisteminin sayfayı kullanmayı seçip seçmemesine bağlıdır.
robots.txt ile noindex aynı mı?expand_more
Hayır. robots.txt taramayı kontrol ederken, noindex getirilen bir sayfanın dizine eklenip eklenemeyeceğini kontrol eder. Bir sayfaya robots.txt tarafından izin verilebilir ancak meta robotlar veya X-Robots-Tag tarafından hariç tutulabilir.
GPTBot, ClaudeBot veya PerplexityBot'yi engellemeli miyim?expand_more
Bu bir iş kararıdır. Engelleme, belirli AI eğitim veya alma erişimini azaltabilir, ancak aynı zamanda AI sistemlerinin ürün bilgilerinizi toplama olasılığını da azaltabilir. Denetleyici, mevcut kurallarınızın ne yaptığını görmenize yardımcı olur.
AI araması için site haritası erişimi neden önemlidir?expand_more
Site haritaları, tarayıcıların canonical ürününü URLs keşfetmesine ve önemli sayfaları yeniden taramasına yardımcı olur. sitemap.xml, AI'de ürün sayfaları eksikse ve arama sistemleri daha zayıf dahili bağlantılara veya eski URL'lere güvenebilir.
Shopify veya e-ticaret uygulamaları tarayıcıları yanlışlıkla engelleyebilir mi?expand_more
Evet. Tema şablonları, robots.txt.liquid düzenlemeleri, şifre kapıları, bölge kuralları, inceleme uygulamaları, SEO uygulamaları, bot koruması ve WAF araçları, alışveriş yapanlara kıyasla tarayıcıların gördüklerini değiştirebilir.
Daha Fazla Araç
Ürün Görünürlüğünü Kontrol Etmeye Devam Edin
AI Alışverişe Hazırlık Tarayıcısı
E-ticaret Mağazaları için AI Alışverişe Hazırlık Tarayıcısı
Yapay zeka arama hazırlığı, Ürün şeması, tarayıcı erişim sinyalleri, ürün özellikleri, anlamsal netlik ve yapılandırılmış veri tutarlılığı açısından e-ticaret ürün sayfalarını tarayın.
Ürün Şeması Denetleyicisi
E-ticaret Sayfaları için Ücretsiz Ürün Şeması Denetleyicisi
Ürün şeması, Teklif verileri, JSON-LD tutarlılığı, fiyat, stok durumu, özellikler ve AI aramaya hazır olma durumu için e-ticaret ürün sayfalarını kontrol edin.
Shopify Şema Denetleyicisi
Ürün Sayfaları için Shopify Şema Denetleyicisi
Ürün sayfaları için ücretsiz Shopify şema denetleyicisi. Ürün şemasını, varyant tekliflerini, uygulamaya eklenen meta verileri, Shopify Markets sinyallerini ve AI arama hazırlığını tarayın.