AI クローラーアクセス
AI クローラー用の Shopify robots.txt
Shopify robots.txt、AI クローラー アクセス、プライベート パス、Googlebot のリスク、エージェントによるショッピングの可視性の監視に関する実践的なガイド。
AI ショッピング システムは、クロール、読み取り、または信頼できないものを推奨することはできません。 Shopify ストアの場合、robots.txt は商品カタログと検索エンジン、AI アシスタント、ショッピング エージェント、商用クローラーとの間の最初のゲートの 1 つです。
目標は、すべてを許可することではありません。目標は、重要な商品、コレクション、画像、構造化データ パスへのアクセスを維持しながら、発見に役立たないカート、チェックアウト、アカウント、検索、フィルター、内部ユーティリティ パスを保護することです。
Robots.txt はコンテンツの品質ではなくクロールを制御します
Robots.txt は、準拠したクローラにリクエストすべきではないパスを通知します。製品スキーマの追加、重複バリアントの修正、薄い説明の改善、またはインデックス作成の保証はありません。技術的な SEO の代替としてではなく、クローラーのアクセス制御として扱います。
Shopify が通常デフォルトで適切に処理するもの
明確な理由がない限り、これらのデフォルトのままにしてください
- check_circle商品ページとコレクション ページはクロール可能な状態を維持する必要があります。
- check_circle商品コンテンツのレンダリングに必要な静的アセットは、クロール可能な状態を維持する必要があります。
- check_circleカート、チェックアウト、アカウント、内部検索パスには通常、クローラー アクセスは必要ありません。
- check_circleサイトマップ パスは検出可能なままである必要があります。
- check_circle意図的に Google 検索へのアクセスを削除する場合を除き、Googlebot をブロックしないでください。
Shopify の健全な AI クローラー ポリシー
成長段階の e コマース サイトの場合、通常、包括的なブロックよりもバランスの取れたポリシーの方が優れています。検出値を作成し、プライベートおよび低価値のパスを保護し、ログまたは CDN 分析を監視して異常なトラフィックを検出できるクローラを許可します。
Shopify の健全な AI クローラー ポリシー
| パスの種類 | 推奨ポリシー | それが重要な理由 |
|---|---|---|
| 商品ページ | 許可 | これらには、AI ショッピング システムが必要とする商業上の事実が含まれています。 |
| コレクションページ | 許可 | これらは、クローラーがカテゴリ、在庫グループ、内部リンクを理解するのに役立ちます。 |
| 商品画像 | 許可 | 画像は、視覚的な検索、プレビュー、および製品のより深い理解をサポートします。 |
| カートとチェックアウト | 許可しない | これらは発見には役に立たず、クロールの無駄が発生する可能性があります。 |
| 顧客アカウント ページ | 許可しない | これらは非公開であるか、公開する価値が低いです。 |
| 内部検索とフィルタリングされた URL | 通常は許可しません | 重複または無限のクロール パスを作成する可能性があります。 |
| サイトマップ | 許可 | クローラーが正規 URL を効率的に見つけるのに役立ちます。 |
AI クローラー用の Shopify robots.txt ルールの例
Shopify ストアは、テーマの robots.txt.liquid テンプレートを通じてロボット ルールをカスタマイズできます。カスタム ルールは小さく、文書化され、簡単に元に戻せるようにしてください。クローラー ブロックリストを別のストアからやみくもにコピーしないでください。
User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.
User-agent: Googlebot
Allow: /
User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account
User-agent: Google-Extended
Disallow: /Google-Extended は Googlebot と同じではありません
Google-Extended は、特定の Google AI トレーニングおよび製品のユースケースを個別に制御します。 Google-Extended のブロックは、Googlebot のブロックとは異なります。検索の可視性を優先する場合は、それらを交換可能なものとして決して扱わないでください。
robots.txt 変更後に監視する内容
変更後のチェック
- 1/robots.txt を開いて、最終的にレンダリングされたファイルが期待どおりであることを確認します。
- 2商品とコレクションの URL が Googlebot に対してブロックされていないことを確認します。
- 3サイトマップ URL がまだアクセス可能であることを確認してください。
- 4代表的な商品ページに対してクローラー アクセス チェックを実行します。
- 5サーバー、CDN、または Shopify 分析でクロールの急増を監視します。
- 6すぐにロールバックできるように、robots.txt のすべての変更を日付付きでメモしておきます。
Shopify robots.txt でよくある間違い
Shopify robots.txt でよくある間違い
- error重要なバリアント URL がパラメータに依存する場合、すべてのクエリ パラメータをブロックします。
- error商品プレビューに必要な画像フォルダーをブロックします。
- errorAI トレーニング クローラーのみをブロックしようとしながら、Googlebot をブロックします。
- errorrobots.txt 自体で重複コンテンツを修正できると仮定します。
- error一部のクローラーは robots.txt を無視したり、ユーザー エージェント文字列の変更を使用したりする可能性があることを忘れてください。
FAQ
Shopify ストアは AI クローラーをブロックする必要がありますか?keyboard_arrow_down
デフォルトではありません。 AI ショッピングの可視性が重要な場合は、カート、チェックアウト、アカウント、検索、重複フィルターなどのプライベートまたは価値の低いパスをブロックしながら、クローラーによる公開商品ページやコレクション ページへのアクセスを許可します。
robots.txt は Google から Shopify 製品ページを削除できますか?keyboard_arrow_down
Robots.txt はクロールを制御します。 Google がすでに URL を知っている場合、クロールのブロックはクリーンな noindex 戦略と同じではありません。 Google 検索の場合は、重要な商品ページから Googlebot をブロックしないように特に注意してください。
Shopify では robots.txt のカスタマイズが許可されていますか?keyboard_arrow_down
はい、Shopify はテーマの robots.txt.liquid テンプレートを通じて robots.txt のカスタマイズをサポートしています。変更は控えめに保ち、公開後にレンダリングされた /robots.txt ファイルをテストします。
AI ショッピングのためにクロール可能にしておく必要がある Shopify URL はどれですか?keyboard_arrow_down
商品ページ、コレクション ページ、商品画像、正規 URL、サイトマップ URL は、商品情報、カテゴリ コンテキスト、検索リンクが含まれるため、通常はクロール可能な状態にしておく必要があります。
関連ツール
AI Crawler Access Checker for Ecommerce Product Pages
e コマースの商品ページで、AI クローラー アクセス、robots.txt ルール、メタ ロボット、X-Robots-Tag、サイトマップ検出、canonical シグナル、および AI 検索の準備状況を確認します。
eコマースストア向けAIショッピングレディネススキャナー
電子商取引の商品ページをスキャンして、AI 検索の準備状況、商品スキーマ、クローラー アクセス シグナル、商品属性、セマンティックの明確さ、構造化データの一貫性を確認します。
Shopify 製品ページをスキャンして SEO および AI 検索の準備を整える
スキーマの競合、バリアント データ、アプリ挿入メタデータ、Markets hreflang、AI 検索の準備のための無料の Shopify 製品ページ スキャナー。
Shopify 製品ページのスキーマ チェッカー
製品ページ用の無料の Shopify スキーマ チェッカー。製品スキーマ、バリアント オファー、アプリ挿入メタデータ、Shopify Markets シグナル、AI 検索の準備状況をスキャンします。