AI 爬蟲存取
適用於 AI 爬蟲的 Shopify robots.txt
Shopify robots.txt、AI 抓取工具存取、私人路徑、Googlebot 風險以及代理購物可見性監控的實用指南。
人工智慧購物系統無法推薦他們無法抓取、閱讀或信任的商品。對於 Shopify 商店，robots.txt 是產品目錄與搜尋引擎、人工智慧助理、購物代理和商業爬蟲之間的首要入口之一。
我們的目標不是允許一切。目標是保持重要的產品、集合、圖像和結構化資料路徑可訪問，同時保護購物車、結帳、帳戶、搜尋、過濾器和無助於發現的內部實用程式路徑。
Robots.txt 控制抓取，而非內容品質
Robots.txt 告訴合規爬蟲它們不應要求哪些路徑。它不會添加產品架構、修復重複變體、改進精簡描述或保證索引。將其視為爬蟲的存取控制，而不是技術 SEO 的替代品。
預設情況下 Shopify 通常可以很好地處理哪些內容
保留這些預設設置，除非有明確的原因
- check_circle產品和產品系列頁面應保持可抓取狀態。
- check_circle呈現產品內容所需的靜態資源應保持可抓取狀態。
- check_circle購物車、結帳、帳戶和內部搜尋路徑通常不需要抓取工具存取權限。
- check_circle站點地圖路徑應保持可發現性。
- check_circle除非您有意刪除 Google 搜尋存取權限，否則不應阻止 Googlebot。
Shopify 的合理 AI 抓取工具策略
對於成長階段的電子商務網站來說，平衡的政策通常比一攬子封鎖更好。允許爬蟲創造發現價值、保護私有和低價值路徑以及監控日誌或 CDN 分析以發現異常流量。
Shopify 的合理 AI 抓取工具策略
| 路徑類型 | 推薦政策 | 為什麼它很重要 |
|---|---|---|
| 產品頁面 | 允許 | 它們包含人工智慧購物系統所需的商業事實。 |
| 收藏頁 | 允許 | 它們幫助抓取工具了解類別、庫存分組和內部連結。 |
| 產品圖片 | 允許 | 影像支援視覺搜尋、預覽和更豐富的產品理解。 |
| 購物車與結帳 | 禁止 | 它們無助於發現，並且可能會造成抓取浪費。 |
| 客戶帳號頁 | 禁止 | 它們是私有的或對公眾發現而言價值較低。 |
| 內部搜尋與過濾的網址 | 通常不允許 | 他們可以創造重複或無限的抓取路徑。 |
| 站點地圖 | 允許 | 它可以幫助爬蟲有效地找到規範的網址。 |
AI 抓取工具的 Shopify robots.txt 規則範例
Shopify 商店可以透過主題的 robots.txt.liquid 範本自訂機器人規則。保持自訂規則較小、記錄在案且易於撤銷。不要盲目地從其他商店複製爬蟲阻止清單。
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account
User-agent: Google-Extended
Disallow: /Google 擴充與 Googlebot 不同
Google-Extended 是某些 Google AI 訓練和產品用例的單獨控制項。阻止 Google-Extend 與封鎖 Googlebot 不同。如果您的首要任務是搜尋可見性，切勿將它們視為可互換的。
更改 robots.txt 後要監控的內容
更改後檢查
- 1開啟 /robots.txt 並確認最終渲染的檔案符合您的預期。
- 2驗證 Googlebot 沒有屏蔽產品和產品系列網址。
- 3檢查網站地圖網址是否仍可存取。
- 4針對代表性產品頁面執行抓取工具存取檢查。
- 5觀察伺服器、CDN 或 Shopify 分析以了解抓取峰值。
- 6為 robots.txt 的每項變更保留註明日期的註釋，以便您可以快速回滾。
常見的 Shopify robots.txt 錯誤
常見的 Shopify robots.txt 錯誤
- error當重要的變體 URL 依賴參數時，阻止所有查詢參數。
- error阻止產品預覽所需的圖片資料夾。
- error阻止 Googlebot，同時嘗試僅阻止 AI 訓練抓取工具。
- error假設 robots.txt 可以自行修復重複內容。
- error忘記某些抓取工具可能會忽略 robots.txt 或使用更改的使用者代理字串。
常見問題
Shopify 商店應該阻止 AI 爬蟲嗎？keyboard_arrow_down
預設不是。如果人工智慧購物可見性很重要，請允許爬蟲存取公共產品和產品系列頁面，同時阻止私人或低價值路徑，例如購物車、結帳、帳戶、搜尋和重複過濾器。
robots.txt 能否從 Google 中刪除 Shopify 產品頁面？keyboard_arrow_down
Robots.txt 控制抓取。如果 Google 已經知道某個 URL，則阻止抓取與乾淨的 noindex 策略不同。對於 Google 搜索，請特別小心，不要阻止 Googlebot 訪問重要的產品頁面。
Shopify 是否允許 robots.txt 自訂？keyboard_arrow_down
是的，Shopify 支援透過主題的 robots.txt.liquid 範本進行 robots.txt 自訂。保持更改保守並在發布後測試渲染的 /robots.txt 檔案。
哪些 Shopify 網址應保持可抓取以供 AI 購物使用？keyboard_arrow_down
產品頁面、產品系列頁面、產品圖片、規格 URL 和網站地圖 URL 通常應保持可抓取狀態，因為它們包含產品事實、類別上下文和發現連結。
相關工具
AI Crawler Access Checker：檢查電商產品頁的爬蟲存取
檢查電商產品頁的 AI crawler access、robots.txt 規則、meta robots、X-Robots-Tag、sitemap 發現、canonical 訊號和 AI 搜尋可見性風險。
產品頁面的 Shopify Schema 檢查器
產品頁面的免費 Shopify Schema 檢查器。掃描產品 Schema、變體報價、應用程式註入的元資料、Shopify Markets 訊號和 AI 搜尋準備。
掃描 Shopify 產品頁面以進行 SEO 和 AI 搜尋準備
免費的 Shopify 產品頁面掃描器，用於掃描架構衝突、變體資料、應用程式註入的元資料、Markets hreflang 和 AI 搜尋準備。