appsSEOツール
radarAI クローラー アクセス チェッカー

AI Crawler Access Checker for Ecommerce Product Pages

robots.txt、メタ ロボット、X-Robots-Tag、サイトマップ、canonical、およびレンダリングされたページのシグナルを確認することで、検索および AI クローラーが商品ページを検出、フェッチ、インデックス付け、および信頼できるかどうかを確認します。

check_circlerobots.txt and AI bot rules
check_circleメタロボットとX-Robots-Tag
check_circleサイトマップと canonical の検出
check_circleレンダリングされた製品ページへのアクセス
システム準備完了
link

ログイン不要・無料スキャン・インスタントオンラインレポート

監査範囲

このツールがチェックする内容

Robots.txt のルール

Review 重要な製品 URL またはクローラー グループが、検索および AI クローラー ユーザー エージェントを対象としたルールを含む robots.txt によってブロックされているかどうか。

インデックス作成ディレクティブ

robots.txt でフェッチが許可されている場合でも、インデックス作成やリンクの追跡を妨げるメタ ロボットと X-Robots-Tag ディレクティブを確認してください。

発見信号

サイトマップ、canonical、hreflang、および内部リンクのシグナルを確認して、クローラーが優先製品 URL を見つけられるようにします。

レンダリングされたアクセス

JavaScript、リダイレクト、パスワード ゲート、ジオフェンシング、またはアプリの障害によって製品情報がクローラーから隠蔽されているページを特定します。

クローラーアクセスマップ

このチェッカーが分離するアクセス信号

クローラーのアクセスは 1 つのスイッチではありません。ページは、robots.txt で許可されるか、noindex によってブロックされるか、サイトマップから欠落するか、canonical 化されてしまうか、ブラウザーには読み取り可能だがクローラーにとっては不完全である可能性があります。 This checker separates each layer so you can see which gate is creating risk.

robots.txt and AI bot rules

robots.txt controls whether specific user agents are allowed to fetch a URL. It is useful for crawl control, but it is not the same as indexing, ranking, or AI visibility.

信号の例

User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/

何を確認するか

  • check_circleProduct URLs are not accidentally blocked by broad Disallow rules.
  • check_circleSearch, shopping, and AI-specific user agents are handled intentionally rather than through copy-pasted rules.
  • check_circleThe sitemap location is exposed when robots.txt is used as a discovery hint.

メタロボットとX-Robots-Tag

A crawler can fetch a page and still be told not to index it. Meta robots and HTTP X-Robots-Tag headers often explain why a product URL is discoverable but absent from search.

信号の例

meta robots: noindex, nofollow; X-Robots-Tag: noindex

何を確認するか

  • check_circleProduct pages do not inherit noindex from staging, filters, or app templates.
  • check_circleHeaders and HTML directives do not conflict with each other.
  • check_circleIndexing directives match the page's canonical and sitemap status.

Sitemap, canonical, and market discovery

Sitemaps and canonicals tell crawlers which product URL should represent the item. Drift here can make AI and search systems collect the wrong variant, market, or collection context.

信号の例

sitemap.xml URL + canonical product URL + hreflang market equivalents

何を確認するか

  • check_circleThe preferred product URL appears in sitemap.xml.
  • check_circleCanonical points to the product page, not a filtered collection or obsolete variant.
  • check_circleLocalized market URLs use consistent canonical and hreflang relationships.

レンダリングされた製品の事実

AI and search crawlers need the final product facts, not just an empty shell. Rendering failures can make schema, price, availability, or product attributes invisible.

信号の例

Rendered HTML: Product schema, price, availability, attributes, reviews, return and shipping context

何を確認するか

  • check_circleCore facts appear without requiring login, cart state, or user interaction.
  • check_circleJavaScript and app widgets do not delay critical schema or offer data beyond crawler collection.
  • check_circleBot protection, redirects, and geofencing do not serve a thin or blocked page to crawlers.

一般的な阻害要因

最初に修正する価値のある問題

priority_high

ブロックされた AI クローラー グループ

ルールでは、GPTBot、OAI-SearchBot、ClaudeBot、Claude-SearchBot、PerplexityBot を禁止したり、__​​TERM_1__ を通じてオプトアウトしたりすることができます。広範なボット パターンにより、製品ページが誤ってブロックされる可能性もあります。

priority_high

製品 URLs のインデックスがありません

A product page can be fetchable but still excluded by meta robots or X-Robots-Tag noindex directives.

priority_high

Sitemap or canonical drift

クローラーは 1 つの URL を検出する一方で、canonical、hreflang、またはサイトマップ エントリが別のマーケット、バリアント、またはコレクション URL をポイントしている可能性があります。

priority_high

レンダリングされたコンテンツがボットから隠される

JavaScript の遅延、アプリのウィジェット、リダイレクト、またはボット保護により、価格、在庫状況、スキーマ、または属性がクローラーに表示されるページから除外される可能性があります。

ワークフロー

URLから修正計画まで

01

ライブ商品 URL を貼り付けます

Use the public product page you want search engines and AI systems to discover, not a preview or admin URL.

02

各アクセス層を分離する

ShopGox は、robots.txt、ページ ディレクティブ、サイトマップと canonical シグナル、およびレンダリングされた製品出力を一緒にチェックします。

03

まずブロッキングゲートを修正してください

レポートを使用して、修正が robots.txt、テーマ テンプレート、ヘッダー、サイトマップ設定、アプリ ルール、またはプラットフォーム構成に属するかどうかを判断します。

よくある質問

スキャン前の質問

AI クローラーを許可すると、AI の可視性が保証されますか?
expand_more
いいえ。アクセスのみとは、クローラーによるページの取得がブロックされていないことを意味します。 AI の可視性は、依然として商品データの品質、権限、鮮度、販売者のデータ ソース、および AI システムがページの使用を選択するかどうかによって決まります。
robots.txt は noindex と同じですか?
expand_more
いいえ。robots.txt はクロールを制御し、noindex は取得したページにインデックスを作成できるかどうかを制御します。ページは robots.txt によって許可されますが、メタ ロボットまたは X-Robots-Tag によって除外されます。
GPTBot、ClaudeBot、または PerplexityBot をブロックする必要がありますか?
expand_more
それはビジネス上の決定です。ブロックすると、特定の AI トレーニングまたは取得アクセスが減少する可能性がありますが、AI システムが製品情報を収集する可能性も減少する可能性があります。チェッカーは、現在のルールが何を行っているかを確認するのに役立ちます。
AI 検索においてサイトマップ アクセスが重要なのはなぜですか?
expand_more
サイトマップは、クローラーが canonical 製品 URL を発見し、重要なページを再クロールするのに役立ちます。 sitemap.xml、AI に製品ページがない場合、検索システムは弱い内部リンクまたは古い URL に依存している可能性があります。
Shopify または e コマース アプリが誤ってクローラーをブロックする可能性がありますか?
expand_more
はい。テーマ テンプレート、robots.txt.liquid 編集、パスワード ゲート、地域ルール、レビュー アプリ、SEO アプリ、ボット保護、WAF ツールにより、買い物客と比較してクローラーに表示される内容が変更される可能性があります。

その他のツール

製品の可視性を継続的にチェックする

AI ショッピング準備スキャナー

eコマースストア向けAIショッピングレディネススキャナー

電子商取引の商品ページをスキャンして、AI 検索の準備状況、商品スキーマ、クローラー アクセス シグナル、商品属性、セマンティックの明確さ、構造化データの一貫性を確認します。

arrow_forward

製品スキーマチェッカー

eコマースページ用の無料の製品スキーマチェッカー

e コマースの製品ページで、製品スキーマ、オファー データ、JSON-LD の一貫性、価格、在庫状況、属性、AI 検索の準備状況を確認します。

arrow_forward

Shopify スキーマ チェッカー

Shopify 製品ページのスキーマ チェッカー

製品ページ用の無料の Shopify スキーマ チェッカー。製品スキーマ、バリアント オファー、アプリ挿入メタデータ、Shopify Markets シグナル、AI 検索の準備状況をスキャンします。

arrow_forward