قواعد ملف Robots.txt
Review سواء تم حظر المنتجات المهمة URL أو مجموعات الزاحف بواسطة robots.txt، بما في ذلك القواعد التي تستهدف البحث ووكلاء مستخدم الزاحف AI.
appsأدوات تحسين محركات البحث
radarAI مدقق وصول الزاحف
AI مدقق وصول الزاحف للتجارة الإلكترونية Product الصفحات
تحقق مما إذا كان بإمكان برامج زحف البحث وAI اكتشاف صفحات منتجك وجلبها وفهرستها والوثوق بها من خلال مراجعة robots.txt والروبوتات التعريفية وX-Robots-Tag وخريطة الموقع وcanonical وإشارات الصفحة المعروضة.
check_circlerobots.txt وAI قواعد الروبوت
check_circleالروبوتات التعريفية وX-Robots-Tag
check_circleخريطة الموقع واكتشاف canonical
check_circleالوصول إلى صفحة المنتج المقدمة
النظام جاهز
link
لا يلزم تسجيل الدخول · فحص مجاني · تقرير فوري عبر الإنترنت
تغطية التدقيق
ما الذي تتحقق منه هذه الأداة
توجيهات الفهرسة
تحقق من الروبوتات التعريفية وتوجيهات X-Robots-Tag التي يمكن أن تمنع فهرسة الروابط أو متابعتها حتى عندما يسمح robots.txt بالجلب.
إشارات الاكتشاف
انظر إلى خريطة الموقع، canonical، hreflang، وإشارات الارتباط الداخلي حتى تتمكن برامج الزحف من العثور على المنتج المفضل URL.
الوصول المقدم
حدد الصفحات التي يؤدي فيها JavaScript أو عمليات إعادة التوجيه أو بوابات كلمة المرور أو السياج الجغرافي أو فشل التطبيق إلى إخفاء حقائق المنتج عن برامج الزحف.
خريطة وصول الزاحف
إشارات الوصول يفصلها هذا المدقق
الوصول إلى الزاحف ليس مفتاحًا واحدًا. يمكن السماح بالصفحة في robots.txt، أو حظرها بواسطة noindex، أو فقدها من خرائط الموقع، أو canonical، أو يمكن قراءتها للمتصفحات ولكنها غير مكتملة لبرامج الزحف. يقوم هذا المدقق بفصل كل طبقة حتى تتمكن من معرفة البوابة التي تسبب المخاطر.
robots.txt وAI قواعد الروبوت
يتحكم robots.txt فيما إذا كان يُسمح لوكلاء مستخدم محددين بجلب URL. وهو مفيد للتحكم في الزحف، ولكنه ليس مثل الفهرسة أو التصنيف أو رؤية AI.
إشارات المثال
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/ما للتحقق
- check_circleProduct URL لا يتم حظرها عن طريق الخطأ بواسطة قواعد Disallow العامة.
- check_circleيتم التعامل مع عمليات البحث والتسوق ووكلاء المستخدم الخاصين بـ AI عن قصد وليس من خلال قواعد النسخ واللصق.
- check_circleيتم الكشف عن موقع خريطة الموقع عند استخدام robots.txt كتلميح اكتشاف.
الروبوتات التعريفية وX-Robots-Tag
يمكن للزاحف جلب صفحة ويظل يُطلب منه عدم فهرستها. غالبًا ما تشرح الروبوتات التعريفية ورؤوس HTTP X-Robots-Tag سبب كون المنتج URL قابلاً للاكتشاف ولكنه غائب عن البحث.
إشارات المثال
meta robots: noindex, nofollow; X-Robots-Tag: noindexما للتحقق
- check_circleلا ترث صفحات Product noindex من التدريج أو المرشحات أو قوالب التطبيق.
- check_circleلا تتعارض الرؤوس وتوجيهات HTML مع بعضها البعض.
- check_circleتتطابق توجيهات الفهرسة مع canonical للصفحة وحالة خريطة الموقع.
خريطة الموقع، canonical، واكتشاف السوق
تخبر ملفات Sitemap وcanonicals برامج الزحف بالمنتج URL الذي يجب أن يمثل العنصر. يمكن أن يؤدي الانجراف هنا إلى جعل AI وأنظمة البحث تجمع المتغير أو السوق أو سياق المجموعة الخاطئ.
إشارات المثال
sitemap.xml URL + canonical المنتج URL + hreflang المكافئات السوقيةما للتحقق
- check_circleالمنتج المفضل URL يظهر في sitemap.xml.
- check_circleيشير المعيار الأساسي إلى صفحة المنتج، وليس إلى مجموعة تمت تصفيتها أو متغير قديم.
- check_circleيستخدم السوق المحلي URLs علاقات متسقة canonical وhreflang.
حقائق المنتج المقدمة
AI وبرامج زحف البحث تحتاج إلى حقائق المنتج النهائية، وليس مجرد غلاف فارغ. يمكن أن يؤدي فشل العرض إلى جعل المخطط أو السعر أو التوفر أو سمات المنتج غير مرئية.
إشارات المثال
HTML المعروض: Product المخطط والسعر والتوفر والسمات والمراجعات وسياق الإرجاع والشحنما للتحقق
- check_circleتظهر الحقائق الأساسية دون الحاجة إلى تسجيل الدخول أو حالة سلة التسوق أو تفاعل المستخدم.
- check_circleJavaScript وأدوات التطبيق لا تؤخر المخطط الهام أو تقدم بيانات تتجاوز مجموعة الزاحف.
- check_circleلا تقدم حماية الروبوتات وعمليات إعادة التوجيه والسياج الجغرافي صفحة رفيعة أو محظورة لبرامج الزحف.
المحظورات المشتركة
القضايا التي تستحق الإصلاح أولا
مجموعات الزاحف AI المحظورة
قد لا تسمح القواعد بـ GPTBot، وOAI-SearchBot، وClaudeBot، وClaude-SearchBot، وPerplexityBot، أو إلغاء الاشتراك من خلال Google-Extended. يمكن لأنماط الروبوتات الواسعة أيضًا حظر صفحات المنتج عن طريق الصدفة.
Noindex على المنتج URLs
يمكن أن تكون صفحة المنتج قابلة للجلب ولكنها لا تزال مستبعدة بواسطة الروبوتات التعريفية أو توجيهات X-Robots-Tag noindex.
خريطة الموقع أو الانجراف canonical
Crawlers may discover one URL while canonical, hreflang, or sitemap entries point to a different market, variant, or collection URL.
المحتوى المعروض مخفي من الروبوتات
يمكن أن يؤدي JavaScript المؤجل أو أدوات التطبيق أو عمليات إعادة التوجيه أو حماية الروبوتات إلى إبقاء السعر أو التوفر أو المخطط أو السمات خارج الصفحة المرئية للزاحف.
سير العمل
من عنوان URL إلى خطة الإصلاح
01
لصق منتج مباشر URL
استخدم صفحة المنتج العامة التي تريد أن تكتشفها محركات البحث وأنظمة AI، وليس المعاينة أو المسؤول URL.
02
افصل كل طبقة وصول
يقوم ShopGox بالتحقق من robots.txt وتوجيهات الصفحة وخريطة الموقع وإشارات canonical ومخرجات المنتج المعروضة معًا.
03
أصلح بوابة الحجب أولاً
استخدم التقرير لتحديد ما إذا كان الإصلاح ينتمي إلى robots.txt أو قوالب السمات أو الرؤوس أو إعدادات خريطة الموقع أو قواعد التطبيق أو تكوين النظام الأساسي.
الأسئلة الشائعة
أسئلة قبل المسح
هل يؤدي السماح للزاحف AI إلى ضمان رؤية AI؟expand_more
لا. الوصول يعني فقط عدم منع الزاحف من جلب الصفحة. لا تزال رؤية AI تعتمد على جودة بيانات المنتج، والسلطة، والحداثة، ومصادر بيانات التاجر، وما إذا كان نظام AI يختار استخدام الصفحة.
هل robots.txt هو نفسه noindex؟expand_more
لا. يتحكم robots.txt في الزحف، بينما يتحكم noindex فيما إذا كان من الممكن فهرسة الصفحة التي تم جلبها. يمكن السماح بالصفحة بحلول robots.txt ولكن يتم استبعادها بواسطة meta robots أو X-Robots-Tag.
هل يجب عليّ حظر GPTBot أو ClaudeBot أو PerplexityBot؟expand_more
هذا هو قرار العمل. قد يؤدي الحظر إلى تقليل إمكانية الوصول إلى التدريب أو الاسترجاع في AI، ولكنه قد يقلل أيضًا من فرصة قيام أنظمة AI بجمع حقائق منتجك. يساعدك المدقق على معرفة ما تفعله قواعدك الحالية.
Why does sitemap access matter for AI search?expand_more
تساعد ملفات Sitemap برامج الزحف على اكتشاف منتج canonical URLs وإعادة الزحف إلى الصفحات المهمة. إذا كانت صفحات المنتج مفقودة من sitemap.xml، AI، فقد تعتمد أنظمة البحث على روابط داخلية أضعف أو URLs قديمة.
هل يمكن لتطبيقات Shopify أو التجارة الإلكترونية حظر برامج الزحف عن طريق الخطأ؟expand_more
نعم. يمكن لقوالب السمات، وتعديلات robots.txt.liquid، وبوابات كلمة المرور، وقواعد المنطقة، وتطبيقات المراجعة، وتطبيقات SEO، وحماية الروبوتات، وأدوات WAF تغيير ما تراه برامج الزحف مقارنةً بالمتسوقين.
المزيد من الأدوات
استمر في التحقق من رؤية المنتج
ماسح جاهزية التسوق بالذكاء الاصطناعي
ماسح جاهزية التسوق بالذكاء الاصطناعي لمتاجر التجارة الإلكترونية
قم بمسح صفحات منتجات التجارة الإلكترونية بحثًا عن جاهزية بحث الذكاء الاصطناعي ومخطط المنتج وإشارات وصول الزاحف وسمات المنتج والوضوح الدلالي واتساق البيانات المنظمة.
مدقق مخطط المنتج
مدقق مخطط المنتج المجاني لصفحات التجارة الإلكترونية
تحقق من صفحات منتجات التجارة الإلكترونية لمعرفة مخطط المنتج، وبيانات العرض، واتساق JSON-LD، والسعر، والتوفر، والسمات، واستعداد بحث الذكاء الاصطناعي.
Shopify مدقق المخطط
Shopify مدقق المخطط لصفحات المنتج
مدقق مخطط Shopify مجاني لصفحات المنتج. مسح مخطط المنتج، والعروض المتنوعة، والبيانات الوصفية التي يتم إدخالها في التطبيق، وإشارات Shopify Markets، واستعداد بحث الذكاء الاصطناعي.