Доступ AI-краулеров

Покупайте файл robots.txt для роботов с искусственным интеллектом

Практическое руководство по Shopify robots.txt, доступу для ИИ-сканеров, частным путям, рискам роботов Google и мониторингу видимости агентских покупок.

ShopGox Editorial23.05.2026ru

Покупочные системы искусственного интеллекта не могут рекомендовать то, что они не могут сканировать, читать или доверять. Для магазинов Shopify файл robots.txt — это один из первых каналов между вашим каталогом товаров и поисковыми системами, помощниками искусственного интеллекта, торговыми агентами и коммерческими сканерами.

Цель не в том, чтобы разрешить все. Цель состоит в том, чтобы обеспечить доступность важных путей к продуктам, коллекциям, изображениям и структурированным данным, одновременно защищая пути корзины, оформления заказа, учетной записи, поиска, фильтра и внутренних утилит, которые не способствуют обнаружению.

Robots.txt контролирует сканирование, а не качество контента

Robots.txt сообщает соответствующим сканерам, какие пути им не следует запрашивать. Он не добавляет схему продукта, не исправляет повторяющиеся варианты, не улучшает тонкие описания и не гарантирует индексацию. Относитесь к этому как к контролю доступа для сканеров, а не как к замене технического SEO.

То, что Shopify обычно хорошо обрабатывает по умолчанию

Сохраняйте эти значения по умолчанию, если у вас нет веской причины

check_circleСтраницы товаров и коллекций должны оставаться доступными для сканирования.
check_circleСтатические ресурсы, необходимые для отображения контента продукта, должны оставаться доступными для сканирования.
check_circleКорзина, оформление заказа, учетная запись и внутренний поиск обычно не требуют доступа для сканера.
check_circleПути к файлу Sitemap должны оставаться видимыми.
check_circleРот Googlebot не должен блокироваться, если вы намеренно не хотите лишить его доступа к Поиску Google.

Разумная политика ИИ-сканера для Shopify

Visual summary diagram for Shopify robots.txt for AI Crawlers: What to Allow, Block, and Monitor.

Для сайта электронной торговли, находящегося на стадии роста, сбалансированная политика обычно лучше, чем полная блокировка. Разрешите сканерам, которые могут создавать ценность обнаружения, защищать частные и малоценные пути, а также отслеживать журналы или аналитику CDN на предмет аномального трафика.

Разумная политика ИИ-сканера для Shopify

Тип пути	Рекомендуемая политика	Почему это важно
Страницы товаров	Разрешить	Они содержат коммерческие факты, необходимые торговым системам искусственного интеллекта.
Страницы коллекций	Разрешить	Они помогают сканерам понимать категории, группы ресурсов и внутренние ссылки.
Изображения товаров	Разрешить	Изображения поддерживают визуальный поиск, предварительный просмотр и более глубокое понимание продукта.
Корзина и оформление заказа	Запретить	Они не способствуют обнаружению и могут привести к ошибкам при сканировании.
Страницы учетной записи клиента	Запретить	Они являются частными или малоценными для публичного обнаружения.
Внутренний поиск и отфильтрованные URL-адреса	Обычно запрещается	Они могут создавать повторяющиеся или бесконечные пути сканирования.
Карта сайта	Разрешить	Это помогает сканерам эффективно находить канонические URL-адреса.

Пример правил Shopify robots.txt для роботов с искусственным интеллектом

Магазины Shopify могут настраивать правила для роботов с помощью шаблона robots.txt.liquid темы. Сохраняйте пользовательские правила небольшими, документированными и легко отменяемыми. Не копируйте черный список сканеров вслепую из другого магазина.

User-agent: *
Disallow: /cart
Disallow: /checkout
Disallow: /account
Disallow: /search
Disallow: /*?*sort_by=
Disallow: /*?*filter.

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Disallow: /cart
Disallow: /checkout
Disallow: /account

User-agent: Google-Extended
Disallow: /

Google-Extended – это не то же самое, что Googlebot

Google-Extended — это отдельный элемент управления для определенных случаев обучения искусственному интеллекту Google и сценариев использования продуктов. Блокировка Google-Extended отличается от блокировки Googlebot. Если вашим приоритетом является видимость в поиске, никогда не рассматривайте их как взаимозаменяемые.

Что следует отслеживать после изменения robots.txt

Проверки после внесения изменений

1Откройте /robots.txt и убедитесь, что окончательный отрисованный файл соответствует вашим ожиданиям.
2Убедитесь, что URL-адреса продуктов и коллекций не заблокированы для робота Googlebot.
3Проверить, что URL-адреса карты сайта по-прежнему доступны.
4Запустите проверку доступа сканера к типичным страницам продуктов.
5Следите за аналитикой сервера, CDN или Shopify на предмет скачков сканирования.
6Сохраняйте дату каждого изменения в файле robots.txt, чтобы можно было быстро выполнить откат.

Распространенные ошибки Shopify в robots.txt

errorБлокировка всех параметров запроса, когда важные URL-адреса вариантов зависят от параметров.
errorБлокировка папок с изображениями, необходимых для предварительного просмотра продуктов.
errorБлокировка робота Googlebot при попытке заблокировать только обучающие сканеры с искусственным интеллектом.
errorПредполагая, что файл robots.txt может самостоятельно исправить дублирующийся контент.
errorЗабывая, что некоторые сканеры могут игнорировать файл robots.txt или использовать изменение строк пользовательского агента.

FAQ

Должны ли магазины Shopify блокировать сканеры с искусственным интеллектом?keyboard_arrow_down

Не по умолчанию. Если видимость покупок с помощью ИИ имеет значение, разрешите сканеру доступ к общедоступным страницам товаров и коллекций, блокируя при этом частные или малоценные пути, такие как корзина, оформление заказа, учетная запись, поиск и повторяющиеся фильтры.

Может ли файл robots.txt удалить страницы продуктов Shopify из Google?keyboard_arrow_down

Robots.txt управляет сканированием. Если Google уже знает URL-адрес, блокировка сканирования — это не то же самое, что стратегия чистого запрета индексации. При работе с Google Поиском будьте особенно осторожны, чтобы не заблокировать робота Googlebot на важных страницах товаров.

Разрешает ли Shopify настройку robots.txt?keyboard_arrow_down

Да, Shopify поддерживает настройку robots.txt с помощью шаблона robots.txt.liquid темы. Сохраняйте изменения консервативными и тестируйте обработанный файл /robots.txt после публикации.

Какие URL-адреса Shopify должны оставаться доступными для сканирования для покупок с помощью ИИ?keyboard_arrow_down

Страницы продуктов, страницы коллекций, изображения продуктов, канонические URL-адреса и URL-адреса карты сайта обычно должны оставаться доступными для сканирования, поскольку они содержат информацию о продукте, контекст категории и ссылки для поиска.

Связанные инструменты

AI Проверка доступа сканера для электронной торговли Product Страницы

Проверьте страницы продуктов электронной торговли на наличие доступа сканера AI, правил robots.txt, мета-роботов, X-Robots-Tag, обнаружения карты сайта, сигналов canonical и готовности AI к поиску.

Проверка схемы Shopify для страниц продуктов

Бесплатная проверка схемы Shopify для страниц товаров. Сканируйте схему продукта, варианты предложений, метаданные, внедренные в приложение, сигналы Shopify Markets и готовность ИИ к поиску.

Сканируйте страницы продуктов Shopify на предмет готовности к SEO и AI-поиску

Бесплатный сканер страниц продуктов Shopify на предмет конфликтов схем, вариантов данных, метаданных, внедренных приложением, hreflang Markets и готовности к поиску с помощью ИИ.

Связанные статьи

Контрольный список готовности Shopify к агентской торговле

Практический контрольный список, который поможет упростить понимание, сравнение и рекомендацию страниц продуктов Shopify для покупателей с искусственным интеллектом и агентов по закупкам.

Как добавить схему продукта в Shopify

Практическое руководство Shopify по добавлению продуктов и предложений в формате JSON-LD без возникновения конфликтов с темами, приложениями SEO, приложениями для обзора, вариантами или рынками.