Akses crawler AI

Shopify robots.txt untuk AI Crawler

Panduan praktis untuk robots.txt Shopify, akses perayap AI, jalur pribadi, risiko Googlebot, dan pemantauan visibilitas belanja agen.

ShopGox Editorial23/5/2026id

Sistem belanja AI tidak dapat merekomendasikan apa yang tidak dapat dirayapi, dibaca, atau dipercaya. Untuk toko Shopify, robots.txt adalah salah satu gerbang pertama antara katalog produk Anda dan mesin telusur, asisten AI, agen belanja, dan perayap komersial.

Tujuannya bukan untuk mengizinkan semuanya. Sasarannya adalah menjaga jalur produk, koleksi, gambar, dan data terstruktur yang penting tetap dapat diakses sekaligus melindungi jalur keranjang, pembayaran, akun, penelusuran, filter, dan utilitas internal yang tidak membantu penemuan.

Robots.txt mengontrol perayapan, bukan kualitas konten

Robots.txt memberi tahu crawler yang mematuhi jalur mana yang tidak boleh mereka minta. Itu tidak menambahkan skema produk, memperbaiki varian duplikat, meningkatkan deskripsi tipis, atau menjamin pengindeksan. Perlakukan ini sebagai kontrol akses untuk crawler, bukan sebagai pengganti SEO teknis.

Apa yang biasanya ditangani Shopify dengan baik secara default

Pertahankan default ini kecuali Anda memiliki alasan yang jelas

check_circleHalaman produk dan koleksi harus tetap dapat dirayapi.
check_circleAset statis yang diperlukan untuk merender konten produk harus tetap dapat dirayapi.
check_circleJalur pencarian internal, checkout, akun, dan keranjang biasanya tidak memerlukan akses crawler.
check_circleJalur peta situs harus tetap dapat ditemukan.
check_circleGooglebot tidak boleh diblokir kecuali Anda sengaja ingin menghapus akses Google Penelusuran.

Kebijakan crawler AI yang masuk akal untuk Shopify

Visual summary diagram for Shopify robots.txt for AI Crawlers: What to Allow, Block, and Monitor.

Untuk situs e-niaga yang berada pada tahap pertumbuhan, kebijakan yang seimbang biasanya lebih baik daripada kebijakan yang bersifat menyeluruh. Izinkan crawler yang dapat menciptakan nilai penemuan, melindungi jalur pribadi dan bernilai rendah, serta memantau log atau analisis CDN untuk lalu lintas abnormal.

Kebijakan crawler AI yang masuk akal untuk Shopify

Jenis jalur	Kebijakan yang disarankan	Mengapa ini penting
Halaman produk	Izinkan	Mereka berisi fakta komersial yang dibutuhkan sistem belanja AI.
Halaman koleksi	Izinkan	Mereka membantu perayap memahami kategori, pengelompokan inventaris, dan tautan internal.
Gambar produk	Izinkan	Gambar mendukung penelusuran visual, pratinjau, dan pemahaman produk yang lebih kaya.
Keranjang dan pembayaran	Larang	Mereka tidak membantu penemuan dan mungkin menimbulkan limbah perayapan.
Halaman akun pelanggan	Larang	Bersifat pribadi atau bernilai rendah untuk ditemukan publik.
Penelusuran internal dan URL yang difilter	Biasanya tidak diizinkan	Mereka dapat membuat jalur perayapan duplikat atau tak terbatas.
Peta Situs	Izinkan	Ini membantu crawler menemukan URL kanonik secara efisien.

Contoh aturan robots.txt Shopify untuk crawler AI

Toko Shopify dapat menyesuaikan aturan robot melalui template robots.txt.liquid tema. Jaga agar aturan khusus tetap kecil, terdokumentasi, dan mudah dibatalkan. Jangan menyalin daftar blokir crawler secara membabi buta dari toko lain.

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account

User-agent: Google-Extended
Disallow: /

Google-Extend tidak sama dengan Googlebot

Google-Extend adalah kontrol terpisah untuk pelatihan AI Google dan kasus penggunaan produk tertentu. Memblokir Google-Extend berbeda dengan memblokir Googlebot. Jika prioritas Anda adalah visibilitas Penelusuran, jangan pernah memperlakukan keduanya sebagai hal yang dapat dipertukarkan.

Apa yang harus dipantau setelah mengubah robots.txt

Pemeriksaan pasca-perubahan

1Buka /robots.txt dan konfirmasikan bahwa file akhir yang dirender sesuai dengan yang Anda harapkan.
2Pastikan URL produk dan koleksi tidak diblokir untuk Googlebot.
3Periksa apakah URL peta situs masih dapat diakses.
4Jalankan pemeriksaan akses crawler terhadap halaman produk yang representatif.
5Perhatikan server, CDN, atau analisis Shopify untuk mengetahui adanya lonjakan perayapan.
6Catat tanggal setiap perubahan robots.txt sehingga Anda dapat melakukan roll back dengan cepat.

Kesalahan umum robots.txt Shopify

errorMemblokir semua parameter kueri ketika URL varian penting bergantung pada parameter.
errorMemblokir folder gambar yang diperlukan untuk pratinjau produk.
errorMemblokir Googlebot saat mencoba memblokir crawler pelatihan AI saja.
errorDengan asumsi robots.txt dapat memperbaiki duplikat konten dengan sendirinya.
errorLupa bahwa beberapa crawler mungkin mengabaikan robots.txt atau menggunakan string agen pengguna yang berubah.

FAQ

Haruskah toko Shopify memblokir perayap AI?keyboard_arrow_down

Tidak secara default. Jika visibilitas belanja AI penting, izinkan crawler mengakses halaman produk dan koleksi publik sambil memblokir jalur pribadi atau bernilai rendah seperti keranjang, checkout, akun, penelusuran, dan filter duplikat.

Dapatkah robots.txt menghapus halaman produk Shopify dari Google?keyboard_arrow_down

Robots.txt mengontrol perayapan. Jika Google sudah mengetahui URL-nya, memblokir perayapan tidak sama dengan strategi noindex yang bersih. Untuk Google Penelusuran, berhati-hatilah agar tidak memblokir Googlebot dari halaman produk penting.

Apakah Shopify mengizinkan penyesuaian robots.txt?keyboard_arrow_down

Ya, Shopify mendukung penyesuaian robots.txt melalui template robots.txt.liquid tema. Jaga agar perubahan tetap konservatif dan uji file /robots.txt yang dirender setelah dipublikasikan.

URL Shopify manakah yang harus tetap dapat dirayapi untuk belanja AI?keyboard_arrow_down

Halaman produk, halaman koleksi, gambar produk, URL kanonis, dan URL peta situs biasanya harus tetap dapat dirayapi karena memuat fakta produk, konteks kategori, dan tautan penemuan.

Alat terkait

AI Pemeriksa Akses Perayap untuk E-niaga Product Halaman

Periksa halaman produk e-niaga untuk AI akses perayap, aturan robots.txt, robot meta, X-Robots-Tag, penemuan peta situs, sinyal canonical, dan kesiapan penelusuran AI.

Pemeriksa Skema Shopify untuk Halaman Produk

Pemeriksa skema Shopify gratis untuk halaman produk. Pindai skema Produk, penawaran varian, metadata yang dimasukkan aplikasi, sinyal Shopify Markets, dan kesiapan pencarian AI.

Pindai Halaman Produk Shopify untuk Kesiapan Pencarian SEO dan AI

Pemindai halaman produk Shopify gratis untuk konflik skema, data varian, metadata yang dimasukkan aplikasi, hreflang Pasar, dan kesiapan pencarian AI.

Post terkait

Daftar Periksa Kesiapan Perdagangan Agen Shopify

Daftar periksa praktis untuk membuat halaman produk Shopify lebih mudah dipahami, dibandingkan, dan direkomendasikan oleh pembeli AI dan agen pembelian.

Cara Menambahkan Skema Produk di Shopify

Panduan praktis Shopify untuk menambahkan Produk dan Penawaran JSON-LD tanpa menimbulkan konflik dengan tema, aplikasi SEO, aplikasi ulasan, varian, atau Pasar.