Правила в файле robots.txt
Review, заблокированы ли важные продукты URL или группы сканеров robots.txt, включая правила, направленные на поиск и AI пользовательские агенты сканера.
appsSEO-инструменты
radarAI Проверка доступа сканера
AI Проверка доступа сканера для электронной торговли Product Страницы
Проверьте, могут ли поисковые роботы и сканеры AI обнаруживать, извлекать, индексировать страницы ваших товаров и доверять им, проверяя robots.txt, мета-роботов, X-Robots-Tag, карту сайта, canonical и сигналы визуализируемых страниц.
check_circleПравила бота robots.txt и AI
check_circleМетароботы и X-Robots-Tag
check_circleКарта сайта и открытие canonical
check_circleДоступ к отображаемой странице продукта
Система готова
link
Вход в систему не требуется · Бесплатное сканирование · Мгновенный онлайн-отчет
Аудит
Что проверяет этот инструмент
Директивы индексирования
Проверьте мета-роботов и директивы X-Robots-Tag, которые могут предотвратить индексацию или переход по ссылкам, даже если robots.txt разрешает выборку.
Сигналы обнаружения
Посмотрите на карту сайта, canonical, hreflang и сигналы внутренних ссылок, чтобы сканеры могли найти предпочтительный продукт URL.
Рендеринг доступа
Определите страницы, на которых JavaScript, перенаправления, шлюзы паролей, геозоны или сбои приложений скрывают информацию о продукте от сканеров.
Карта доступа к краулеру
Сигналы доступа, которые разделяет эта проверка
Краулерный доступ — это не один коммутатор. Страница может быть разрешена в robots.txt, заблокирована noindex, отсутствовать в файлах Sitemap, canonical удалена или доступна для чтения в браузерах, но неполная для сканеров. Эта проверка разделяет каждый уровень, чтобы вы могли видеть, какие ворота создают риск.
Правила бота robots.txt и AI
robots.txt контролирует, разрешено ли определенным пользовательским агентам получать URL. Это полезно для контроля сканирования, но это не то же самое, что индексирование, ранжирование или видимость AI.
Примеры сигналов
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Что проверить
- check_circleProduct URL не случайно блокируются широкими правилами Disallow.
- check_circleПоиск, покупки и пользовательские агенты, специфичные для AI, обрабатываются намеренно, а не посредством копирования правил.
- check_circleМестоположение карты сайта отображается, когда robots.txt используется в качестве подсказки для обнаружения.
Метароботы и X-Robots-Tag
Сканер может получить страницу и все равно получить указание не индексировать ее. Мета-роботы и HTTP-заголовки X-Robots-Tag часто объясняют, почему продукт URL доступен для обнаружения, но отсутствует в поиске.
Примеры сигналов
meta robots: noindex, nofollow; X-Robots-Tag: noindexЧто проверить
- check_circleСтраницы Product не наследуют noindex от промежуточных, фильтров или шаблонов приложений.
- check_circleЗаголовки и директивы HTML не конфликтуют друг с другом.
- check_circleДирективы индексирования соответствуют статусу canonical страницы и карты сайта.
Карта сайта, canonical и исследование рынка
Файлы Sitemap и canonical сообщают сканерам, какой продукт URL должен представлять этот товар. Дрейф здесь может привести к тому, что AI и поисковые системы соберут неправильный вариант, рынок или контекст коллекции.
Примеры сигналов
sitemap.xml URL + canonical товар URL + hreflang рыночные эквивалентыЧто проверить
- check_circleПредпочтительный продукт URL появляется в sitemap.xml.
- check_circleCanonical указывает на страницу продукта, а не на отфильтрованную коллекцию или устаревший вариант.
- check_circleURL на локализованном рынке используют согласованные отношения canonical и hreflang.
Представленные факты о продукте
AI и поисковым роботам нужны конечные сведения о продукте, а не просто пустая оболочка. Сбои рендеринга могут сделать невидимыми схему, цену, доступность или атрибуты продукта.
Примеры сигналов
Отрисованный HTML: схема Product, цена, наличие, атрибуты, отзывы, контекст возврата и доставки.Что проверить
- check_circleCore facts appear without requiring login, cart state, or user interaction.
- check_circleJavaScript и виджеты приложений не задерживают критическую схему и не предоставляют данные, выходящие за рамки сбора сканером.
- check_circleЗащита от ботов, перенаправление и геозоны не предоставляют сканерам тонкую или заблокированную страницу.
Общие блокаторы
Проблемы, которые стоит устранить в первую очередь
Заблокированные группы сканеров AI
Правила могут запрещать GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot и PerplexityBot или отказаться от них через Google-Extended. Широкие шаблоны ботов также могут случайно заблокировать страницы товаров.
Noindex по товару URLs
Страница продукта может быть получена, но при этом исключена мета-роботами или директивами X-Robots-Tag noindex.
Карта сайта или дрейф canonical
Сканеры могут обнаружить один URL, в то время как canonical, hreflang или записи карты сайта указывают на другой рынок, вариант или коллекцию URL.
Отрисованный контент скрыт от ботов
Отложенный JavaScript, виджеты приложений, перенаправления или защита от ботов могут скрыть цену, доступность, схему или атрибуты на странице, видимой для сканера.
Рабочий процесс
От URL-адреса к плану исправлений
01
Вставьте живой продукт URL
Используйте общедоступную страницу продукта, которую должны обнаружить поисковые системы и системы AI, а не предварительный просмотр или администрирование URL.
02
Отделите каждый уровень доступа
ShopGox проверяет robots.txt, директивы страницы, карту сайта и сигналы canonical, а также выводит визуализированный продукт вместе.
03
Сначала почините блокирующие ворота
Используйте отчет, чтобы решить, относится ли исправление к robots.txt, шаблонам тем, заголовкам, настройкам карты сайта, правилам приложения или конфигурации платформы.
Часто задаваемые вопросы
Вопросы перед сканированием
Гарантирует ли использование сканера AI видимость AI?expand_more
Нет. Доступ означает только то, что сканеру не заблокирована возможность получения страницы. Видимость AI по-прежнему зависит от качества, авторитетности, актуальности данных о товарах, источников данных о продавцах, а также от того, решит ли система AI использовать эту страницу.
Является ли robots.txt тем же, что и noindex?expand_more
Нет. robots.txt контролирует сканирование, а noindex контролирует, может ли полученная страница быть проиндексирована. Страница может быть разрешена robots.txt, но исключена мета-роботами или X-Robots-Tag.
Должен ли я заблокировать GPTBot, ClaudeBot или PerplexityBot?expand_more
Это деловое решение. Блокировка может ограничить доступ к определенному обучению или поиску AI, но также может снизить вероятность того, что системы AI соберут информацию о вашем продукте. Средство проверки поможет вам увидеть, что делают ваши текущие правила.
Почему доступ к карте сайта важен для поиска AI?expand_more
Файлы Sitemap помогают сканерам обнаруживать canonical продукты URL и повторно сканировать важные страницы. Если страницы продукта отсутствуют в sitemap.xml, AI и поисковые системы могут полагаться на более слабые внутренние ссылки или устаревшие URL.
Могут ли Shopify или приложения электронной коммерции случайно заблокировать сканеры?expand_more
Да. Шаблоны тем, изменения robots.txt.liquid, шлюзы паролей, региональные правила, приложения для просмотра, приложения SEO, защита от ботов и инструменты WAF могут изменить то, что видят сканеры, по сравнению с покупателями.
Дополнительные инструменты
Продолжайте проверять видимость продукта
Сканер готовности к покупкам с использованием искусственного интеллекта
Сканер готовности к покупкам с использованием искусственного интеллекта для магазинов электронной коммерции
Сканируйте страницы продуктов электронной коммерции на предмет готовности к поиску с помощью ИИ, схемы продукта, сигналов доступа сканера, атрибутов продукта, семантической ясности и согласованности структурированных данных.
Проверка схемы продукта
Бесплатная проверка схемы продукта для страниц электронной торговли
Проверьте страницы продуктов электронной торговли на предмет схемы продукта, данных предложения, согласованности JSON-LD, цены, доступности, атрибутов и готовности к поиску с помощью ИИ.
Проверка схемы Shopify
Проверка схемы Shopify для страниц продуктов
Бесплатная проверка схемы Shopify для страниц товаров. Сканируйте схему продукта, варианты предложений, метаданные, внедренные в приложение, сигналы Shopify Markets и готовность ИИ к поиску.