Aturan Robots.txt
Review baik produk penting URLs atau grup perayap diblokir oleh robots.txt, termasuk aturan yang ditujukan untuk penelusuran dan agen pengguna perayap AI.
appsAlat SEO
radarAI Pemeriksa Akses Perayap
AI Pemeriksa Akses Perayap untuk E-niaga Product Halaman
Periksa apakah crawler penelusuran dan AI dapat menemukan, mengambil, mengindeks, dan memercayai halaman produk Anda dengan meninjau robots.txt, robot meta, X-Robots-Tag, peta situs, canonical, dan sinyal halaman yang dirender.
check_circleAturan bot robots.txt dan AI
check_circleRobot meta dan X-Robots-Tag
check_circlePeta Situs dan penemuan canonical
check_circleAkses halaman produk yang diberikan
Sistem siap
link
Tidak perlu login · Pemindaian gratis · Laporan online instan
Cakupan Audit
Apa yang Diperiksa Alat Ini
Petunjuk Pengindeksan
Periksa robot meta dan arahan X-Robots-Tag yang dapat mencegah pengindeksan atau mengikuti tautan bahkan ketika robots.txt mengizinkan pengambilan.
Sinyal Penemuan
Lihat peta situs, canonical, hreflang, dan sinyal tautan internal sehingga perayap dapat menemukan produk pilihan URL.
Akses yang Diberikan
Identifikasi laman tempat JavaScript, pengalihan, gerbang kata sandi, pembatasan wilayah, atau kegagalan aplikasi menyembunyikan fakta produk dari perayap.
Peta Akses Perayap
Sinyal akses dipisahkan oleh pemeriksa ini
Akses perayap bukanlah satu saklar. Sebuah halaman dapat diizinkan di robots.txt, diblokir oleh noindex, hilang dari peta situs, canonical dihapus, atau dapat dibaca oleh browser tetapi tidak lengkap untuk crawler. Pemeriksa ini memisahkan setiap lapisan sehingga Anda dapat melihat gerbang mana yang menimbulkan risiko.
Aturan bot robots.txt dan AI
robots.txt mengontrol apakah agen pengguna tertentu diizinkan mengambil URL. Ini berguna untuk kontrol perayapan, tetapi tidak sama dengan pengindeksan, pemeringkatan, atau visibilitas AI.
Contoh sinyal
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Apa yang harus diverifikasi
- check_circleProduct URLs tidak diblokir secara tidak sengaja oleh aturan Disallow yang luas.
- check_circleAgen pengguna khusus penelusuran, belanja, dan AI ditangani dengan sengaja, bukan melalui aturan salin-tempel.
- check_circleLokasi peta situs ditampilkan ketika robots.txt digunakan sebagai petunjuk penemuan.
Robot meta dan X-Robots-Tag
Perayap dapat mengambil laman dan tetap diberitahu untuk tidak mengindeksnya. Robot meta dan header HTTP X-Robots-Tag sering kali menjelaskan mengapa produk URL dapat ditemukan tetapi tidak ada dalam penelusuran.
Contoh sinyal
meta robots: noindex, nofollow; X-Robots-Tag: noindexApa yang harus diverifikasi
- check_circleHalaman Product tidak mewarisi noindex dari staging, filter, atau template aplikasi.
- check_circleHeader dan arahan HTML tidak bertentangan satu sama lain.
- check_circlePerintah pengindeksan cocok dengan canonical halaman dan status peta situs.
Peta Situs, canonical, dan penemuan pasar
Peta Situs dan canonical memberi tahu crawler produk mana URL yang harus mewakili item tersebut. Drift di sini dapat membuat AI dan sistem pencarian mengumpulkan varian, pasar, atau konteks koleksi yang salah.
Contoh sinyal
sitemap.xml URL + canonical produk URL + hreflang setara pasarApa yang harus diverifikasi
- check_circleProduk pilihan URL muncul di sitemap.xml.
- check_circleCanonical menunjuk ke halaman produk, bukan koleksi yang difilter atau varian usang.
- check_circlePasar yang dilokalkan URLs menggunakan hubungan canonical dan hreflang yang konsisten.
Fakta produk yang diberikan
AI dan perayap penelusuran memerlukan fakta produk akhir, bukan hanya cangkang kosong. Kegagalan rendering dapat membuat skema, harga, ketersediaan, atau atribut produk tidak terlihat.
Contoh sinyal
HTML yang dirender: Product skema, harga, ketersediaan, atribut, ulasan, pengembalian, dan konteks pengirimanApa yang harus diverifikasi
- check_circleFakta inti muncul tanpa memerlukan login, status keranjang, atau interaksi pengguna.
- check_circleJavaScript dan widget aplikasi tidak menunda skema penting atau menawarkan data di luar pengumpulan perayap.
- check_circlePerlindungan bot, pengalihan, dan geofencing tidak memberikan halaman yang tipis atau diblokir kepada crawler.
Pemblokir Umum
Masalah yang Perlu Diperbaiki Terlebih Dahulu
Grup perayap AI diblokir
Aturan dapat melarang GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, dan PerplexityBot, atau memilih tidak ikut melalui Google-Extended. Pola bot yang luas juga dapat memblokir halaman produk secara tidak sengaja.
Tidak ada indeks pada produk URLs
Halaman produk dapat diambil tetapi masih dikecualikan oleh robot meta atau arahan X-Robots-Tag noindex.
Peta Situs atau canonical melayang
Perayap mungkin menemukan satu URL sementara canonical, hreflang, atau entri peta situs menunjuk ke pasar, varian, atau koleksi yang berbeda URL.
Konten yang dirender disembunyikan dari bot
JavaScript yang tertunda, widget aplikasi, pengalihan, atau perlindungan bot dapat membuat harga, ketersediaan, skema, atau atribut tidak terlihat di halaman yang terlihat oleh crawler.
Alur kerja
Dari URL hingga Paket Perbaiki
01
Tempelkan produk langsung URL
Gunakan halaman produk publik yang Anda inginkan agar ditemukan oleh mesin telusur dan sistem AI, bukan pratinjau atau admin URL.
02
Pisahkan setiap lapisan akses
ShopGox memeriksa robots.txt, arahan halaman, peta situs dan sinyal canonical, dan keluaran produk yang dirender secara bersamaan.
03
Perbaiki gerbang pemblokiran terlebih dahulu
Gunakan laporan untuk memutuskan apakah perbaikan tersebut termasuk dalam robots.txt, templat tema, header, setelan peta situs, aturan aplikasi, atau konfigurasi platform.
Pertanyaan Umum
Pertanyaan Sebelum Anda Memindai
Apakah mengizinkan perayap AI menjamin visibilitas AI?expand_more
Tidak. Akses saja berarti crawler tidak diblokir untuk mengambil halaman. Visibilitas AI masih bergantung pada kualitas data produk, otoritas, keaktualan, sumber data pedagang, dan apakah sistem AI memilih untuk menggunakan halaman tersebut.
Apakah robots.txt sama dengan noindex?expand_more
Tidak. robots.txt mengontrol perayapan, sedangkan noindex mengontrol apakah halaman yang diambil dapat diindeks. Sebuah halaman dapat diizinkan oleh robots.txt tetapi dikecualikan oleh robot meta atau X-Robots-Tag.
Haruskah saya memblokir GPTBot, ClaudeBot, atau PerplexityBot?expand_more
Itu adalah keputusan bisnis. Pemblokiran dapat mengurangi akses pelatihan atau pengambilan AI tertentu, namun juga dapat mengurangi kemungkinan sistem AI mengumpulkan fakta produk Anda. Pemeriksa membantu Anda melihat apa yang dilakukan aturan Anda saat ini.
Mengapa akses peta situs penting untuk penelusuran AI?expand_more
Peta Situs membantu perayap menemukan canonical produk URLs dan merayapi ulang laman penting. Jika halaman produk hilang dari sitemap.xml, AI dan sistem penelusuran mungkin mengandalkan tautan internal yang lebih lemah atau URL yang basi.
Bisakah aplikasi Shopify atau e-niaga memblokir crawler secara tidak sengaja?expand_more
Ya. Templat tema, pengeditan robots.txt.liquid, gerbang kata sandi, aturan wilayah, aplikasi ulasan, aplikasi SEO, perlindungan bot, dan alat WAF dapat mengubah apa yang dilihat perayap dibandingkan dengan pembeli.
Alat Lainnya
Terus Periksa Visibilitas Produk
Pemindai Kesiapan Belanja AI
Pemindai Kesiapan Belanja AI untuk Toko E-niaga
Pindai halaman produk e-niaga untuk mengetahui kesiapan pencarian AI, skema Produk, sinyal akses perayap, atribut produk, kejelasan semantik, dan konsistensi data terstruktur.
Pemeriksa Skema Produk
Pemeriksa Skema Produk Gratis untuk Halaman E-niaga
Periksa halaman produk e-niaga untuk skema Produk, data Penawaran, konsistensi JSON-LD, harga, ketersediaan, atribut, dan kesiapan pencarian AI.
Pemeriksa Skema Shopify
Pemeriksa Skema Shopify untuk Halaman Produk
Pemeriksa skema Shopify gratis untuk halaman produk. Pindai skema Produk, penawaran varian, metadata yang dimasukkan aplikasi, sinyal Shopify Markets, dan kesiapan pencarian AI.