Robots.txt 규칙
Review 검색 및 AI 크롤러 사용자 에이전트를 겨냥한 규칙을 포함하여 중요한 제품 URLs 또는 크롤러 그룹이 robots.txt에 의해 차단되는지 여부.
appsSEO 도구
radarAI 크롤러 액세스 검사기
AI 전자상거래용 크롤러 액세스 검사기 Product 페이지
robots.txt, 메타 로봇, X-Robots-Tag, 사이트맵, canonical 및 렌더링된 페이지 신호를 검토하여 검색 및 AI 크롤러가 제품 페이지를 검색하고, 가져오고, 색인을 생성하고 신뢰할 수 있는지 확인하세요.
check_circlerobots.txt 및 AI 봇 규칙
check_circle메타 로봇 및 X-Robots-Tag
check_circle사이트맵 및 canonical 검색
check_circle렌더링된 제품 페이지 액세스
시스템 준비 완료
link
로그인 필요 없음 · 무료 스캔 · 즉시 온라인 보고서
감사 범위
이 도구가 검사하는 내용
인덱싱 지시어
robots.txt이 가져오기를 허용하는 경우에도 색인 생성이나 링크 추적을 방지할 수 있는 메타 로봇 및 X-Robots-Tag 지시어를 확인하세요.
발견 신호
크롤러가 선호하는 제품 URL을 찾을 수 있도록 사이트맵, canonical, hreflang 및 내부 링크 신호를 살펴보세요.
렌더링된 액세스
JavaScript, 리디렉션, 비밀번호 게이트, 지오펜싱 또는 앱 오류로 인해 크롤러로부터 제품 정보가 숨겨지는 페이지를 식별합니다.
크롤러 액세스 지도
이 검사기가 분리하는 액세스 신호
크롤러 액세스는 하나의 스위치가 아닙니다. 페이지는 robots.txt에서 허용되거나, noindex에 의해 차단되거나, 사이트맵에서 누락되거나, canonical화되거나, 브라우저에서는 읽을 수 있지만 크롤러에서는 불완전할 수 있습니다. 이 검사기는 각 레이어를 분리하여 어떤 게이트가 위험을 생성하는지 확인할 수 있습니다.
robots.txt 및 AI 봇 규칙
robots.txt은 특정 사용자 에이전트가 URL을 가져올 수 있는지 여부를 제어합니다. 크롤링 제어에 유용하지만 색인 생성, 순위 지정 또는 AI 가시성과는 다릅니다.
예시 신호
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/확인해야 할 사항
- check_circleProduct URL은(는) 광범위한 Disallow 규칙에 의해 실수로 차단되지 않습니다.
- check_circle검색, 쇼핑 및 AI 관련 사용자 에이전트는 복사하여 붙여넣은 규칙을 통하지 않고 의도적으로 처리됩니다.
- check_circlerobots.txt이 검색 힌트로 사용되면 사이트맵 위치가 노출됩니다.
메타 로봇 및 X-Robots-Tag
크롤러는 페이지를 가져오더라도 색인을 생성하지 말라는 메시지를 받을 수 있습니다. 메타 로봇과 HTTP X-Robots-Tag 헤더는 URL 제품이 검색 가능하지만 검색에 없는 이유를 설명하는 경우가 많습니다.
예시 신호
meta robots: noindex, nofollow; X-Robots-Tag: noindex확인해야 할 사항
- check_circleProduct 페이지는 스테이징, 필터 또는 앱 템플릿에서 noindex을 상속하지 않습니다.
- check_circle헤더와 HTML 지시문은 서로 충돌하지 않습니다.
- check_circle색인 생성 지시어는 페이지의 canonical 및 사이트맵 상태와 일치합니다.
사이트맵, canonical 및 시장 발견
사이트맵과 canonical은 어떤 제품 URL이 항목을 나타내야 하는지 크롤러에게 알려줍니다. 여기에서 드리프트하면 AI이 발생하고 검색 시스템이 잘못된 변형, 시장 또는 컬렉션 컨텍스트를 수집할 수 있습니다.
예시 신호
sitemap.xml URL + canonical 제품 URL + hreflang 시장 등가물확인해야 할 사항
- check_circle선호하는 제품 URL이(가) sitemap.xml에 나타납니다.
- check_circleCanonical은 필터링된 컬렉션이나 오래된 변형이 아닌 제품 페이지를 가리킵니다.
- check_circle현지화된 시장 URL은 일관된 canonical 및 hreflang 관계를 사용합니다.
렌더링된 제품 정보
AI 및 검색 크롤러에는 빈 셸뿐만 아니라 최종 제품 정보가 필요합니다. 렌더링 실패로 인해 스키마, 가격, 가용성 또는 제품 속성이 보이지 않을 수 있습니다.
예시 신호
렌더링된 HTML: Product 스키마, 가격, 가용성, 속성, 리뷰, 반품 및 배송 상황확인해야 할 사항
- check_circle로그인, 장바구니 상태 또는 사용자 상호 작용 없이 핵심 사실이 표시됩니다.
- check_circleJavaScript 및 앱 위젯은 중요한 스키마를 지연시키거나 크롤러 수집 이상의 데이터를 제공하지 않습니다.
- check_circle봇 보호, 리디렉션 및 지오펜싱은 크롤러에게 얇거나 차단된 페이지를 제공하지 않습니다.
일반적인 차단제
먼저 해결할 가치가 있는 문제
차단된 AI 크롤러 그룹
규칙에 따라 GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot 및 PerplexityBot을 허용하지 않거나 Google-Extended을 통해 선택 해제할 수 있습니다. 광범위한 봇 패턴은 실수로 제품 페이지를 차단할 수도 있습니다.
제품 URLs에 대한 색인 없음
제품 페이지를 가져올 수 있지만 여전히 메타 로봇이나 X-Robots-Tag noindex 지시어에 의해 제외됩니다.
사이트맵 또는 canonical 드리프트
크롤러는 하나의 URL을 발견할 수 있지만 canonical, hreflang 또는 사이트맵 항목은 다른 시장, 변형 또는 컬렉션 URL을 가리킵니다.
봇에게 숨겨진 렌더링된 콘텐츠
지연된 JavaScript, 앱 위젯, 리디렉션 또는 봇 보호로 인해 가격, 가용성, 스키마 또는 속성이 크롤러에 표시되는 페이지에 표시되지 않을 수 있습니다.
작업 흐름
URL에서 수정 계획까지
01
실제 제품을 붙여넣으세요. URL
미리보기나 관리자 URL이 아닌 검색 엔진과 AI 시스템이 검색할 공개 제품 페이지를 사용하세요.
02
각 액세스 레이어를 분리하세요.
ShopGox는 robots.txt, 페이지 지시문, 사이트맵 및 canonical 신호, 렌더링된 제품 출력을 함께 확인합니다.
03
차단 게이트를 먼저 고치세요
보고서를 사용하여 수정 사항이 robots.txt, 테마 템플릿, 헤더, 사이트맵 설정, 앱 규칙 또는 플랫폼 구성에 속하는지 결정합니다.
FAQ
스캔하기 전 질문
AI 크롤러를 허용하면 AI 가시성이 보장되나요?expand_more
아니요. 액세스는 크롤러가 페이지를 가져오는 것을 차단하지 않는다는 의미일 뿐입니다. AI 가시성은 여전히 제품 데이터 품질, 권위, 최신성, 판매자 데이터 소스 및 AI 시스템이 페이지를 사용하도록 선택하는지 여부에 따라 달라집니다.
robots.txt은 noindex과 동일합니까?expand_more
아니요. robots.txt은 크롤링을 제어하고 noindex는 가져온 페이지의 색인을 생성할 수 있는지 여부를 제어합니다. 페이지는 robots.txt에 의해 허용될 수 있지만 메타 로봇 또는 X-Robots-Tag에 의해 제외될 수 있습니다.
GPTBot, ClaudeBot 또는 PerplexityBot을 차단해야 하나요?expand_more
그것은 사업상의 결정입니다. 차단하면 특정 AI 교육 또는 검색 액세스가 줄어들 수 있지만 AI 시스템이 제품 정보를 수집할 가능성도 줄어들 수 있습니다. 검사기는 현재 규칙이 수행하는 작업을 확인하는 데 도움이 됩니다.
AI 검색에 사이트맵 액세스가 중요한 이유는 무엇입니까?expand_more
사이트맵은 크롤러가 canonical 제품 URL을 검색하고 중요한 페이지를 다시 크롤링하는 데 도움이 됩니다. sitemap.xml, AI에서 제품 페이지가 누락된 경우 검색 시스템은 약한 내부 링크나 오래된 URL에 의존할 수 있습니다.
Shopify 또는 전자상거래 앱이 실수로 크롤러를 차단할 수 있습니까?expand_more
그렇습니다. 테마 템플릿, robots.txt.liquid 편집, 비밀번호 게이트, 지역 규칙, 앱 검토, SEO 앱, 봇 보호 및 WAF 도구는 쇼핑객과 비교하여 크롤러가 보는 내용을 변경할 수 있습니다.
더 많은 도구
제품 가시성을 계속 확인하세요
AI 쇼핑 준비 스캐너
전자상거래 매장을 위한 AI 쇼핑 준비 스캐너
AI 검색 준비 상태, 제품 스키마, 크롤러 액세스 신호, 제품 속성, 의미 명확성 및 구조화된 데이터 일관성을 확인하기 위해 전자상거래 제품 페이지를 스캔합니다.
제품 스키마 검사기
전자상거래 페이지용 무료 제품 스키마 검사기
제품 스키마, 제안 데이터, JSON-LD 일관성, 가격, 가용성, 속성 및 AI 검색 준비 상태에 대한 전자상거래 제품 페이지를 확인하세요.
Shopify 스키마 검사기
제품 페이지용 Shopify 스키마 검사기
제품 페이지용 무료 Shopify 스키마 검사기입니다. 제품 스키마, 변형 상품, 앱에 삽입된 메타데이터, Shopify Markets 신호 및 AI 검색 준비 상태를 스캔합니다.