appsएसईओ उपकरण
radarAI क्रॉलर एक्सेस चेकर

AI ईकॉमर्स के लिए क्रॉलर एक्सेस चेकर Product पेज

जांचें कि क्या खोज और AI क्रॉलर robots.txt, मेटा रोबोट, X-Robots-Tag, साइटमैप, canonical और रेंडर-पेज सिग्नल की समीक्षा करके आपके उत्पाद पृष्ठों को खोज सकते हैं, ला सकते हैं, अनुक्रमित कर सकते हैं और उन पर भरोसा कर सकते हैं।

check_circlerobots.txt और AI बॉट नियम
check_circleमेटा रोबोट और X-Robots-Tag
check_circleसाइटमैप और canonical खोज
check_circleउत्पाद पृष्ठ पहुंच प्रदान की गई
सिस्टम तैयार है
link

कोई लॉगिन आवश्यक नहीं · निःशुल्क स्कैन · तुरंत ऑनलाइन रिपोर्ट

ऑडिट कवरेज

यह टूल क्या जांचता है

रोबोट.txt नियम

Review क्या महत्वपूर्ण उत्पाद URLs या क्रॉलर समूह robots.txt द्वारा अवरुद्ध हैं, जिसमें खोज और AI क्रॉलर उपयोगकर्ता एजेंटों के उद्देश्य से नियम शामिल हैं।

अनुक्रमण निर्देश

मेटा रोबोट और X-Robots-Tag निर्देशों की जांच करें जो robots.txt फ़ेच की अनुमति देने पर भी अनुक्रमण या लिंक का अनुसरण करने से रोक सकते हैं।

डिस्कवरी सिग्नल

साइटमैप, canonical, hreflang, और आंतरिक-लिंक सिग्नल देखें ताकि क्रॉलर पसंदीदा उत्पाद URL ढूंढ सकें।

पहुंच प्रदान की गई

उन पृष्ठों की पहचान करें जहां JavaScript, रीडायरेक्ट, पासवर्ड गेट्स, जियोफेंसिंग, या ऐप विफलताएं क्रॉलर्स से उत्पाद तथ्य छिपाती हैं।

क्रॉलर एक्सेस मानचित्र

यह चेकर एक्सेस सिग्नल को अलग करता है

क्रॉलर एक्सेस एक स्विच नहीं है. robots.txt में एक पृष्ठ की अनुमति दी जा सकती है, जो noindex द्वारा अवरुद्ध है, साइटमैप से गायब है, canonical दूर है, या ब्राउज़र के लिए पढ़ने योग्य है लेकिन क्रॉलर के लिए अधूरा है। यह चेकर प्रत्येक परत को अलग करता है ताकि आप देख सकें कि कौन सा गेट जोखिम पैदा कर रहा है।

robots.txt और AI बॉट नियम

robots.txt नियंत्रित करता है कि विशिष्ट उपयोगकर्ता एजेंटों को URL लाने की अनुमति है या नहीं। यह क्रॉल नियंत्रण के लिए उपयोगी है, लेकिन यह अनुक्रमण, रैंकिंग, या AI दृश्यता के समान नहीं है।

उदाहरण संकेत

User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/

क्या सत्यापित करें?

  • check_circleProduct URLs को व्यापक Disallow नियमों द्वारा गलती से अवरुद्ध नहीं किया गया है।
  • check_circleखोज, खरीदारी और AI-विशिष्ट उपयोगकर्ता एजेंटों को कॉपी-पेस्ट किए गए नियमों के बजाय जानबूझकर नियंत्रित किया जाता है।
  • check_circleजब robots.txt को खोज संकेत के रूप में उपयोग किया जाता है तो साइटमैप स्थान उजागर हो जाता है।

मेटा रोबोट और X-Robots-Tag

एक क्रॉलर एक पृष्ठ ला सकता है और फिर भी उसे इसे अनुक्रमित न करने के लिए कहा जा सकता है। मेटा रोबोट और HTTP X-Robots-Tag हेडर अक्सर बताते हैं कि क्यों कोई उत्पाद URL खोजने योग्य है लेकिन खोज से अनुपस्थित है।

उदाहरण संकेत

meta robots: noindex, nofollow; X-Robots-Tag: noindex

क्या सत्यापित करें?

  • check_circleProduct पृष्ठ स्टेजिंग, फ़िल्टर या ऐप टेम्प्लेट से noindex प्राप्त नहीं करते हैं।
  • check_circleहेडर और HTML निर्देश एक दूसरे के साथ टकराव नहीं करते हैं।
  • check_circleअनुक्रमण निर्देश पृष्ठ की canonical और साइटमैप स्थिति से मेल खाते हैं।

साइटमैप, canonical, और बाज़ार खोज

साइटमैप और canonicals क्रॉलर्स को बताते हैं कि किस उत्पाद URL को आइटम का प्रतिनिधित्व करना चाहिए। यहां बहाव AI बना सकता है और खोज सिस्टम गलत संस्करण, बाजार या संग्रह संदर्भ एकत्र कर सकता है।

उदाहरण संकेत

sitemap.xml URL + canonical उत्पाद URL + hreflang बाज़ार समकक्ष

क्या सत्यापित करें?

  • check_circleपसंदीदा उत्पाद URL sitemap.xml में दिखाई देता है।
  • check_circleकैनोनिकल उत्पाद पृष्ठ को इंगित करता है, फ़िल्टर किए गए संग्रह या अप्रचलित संस्करण को नहीं।
  • check_circleस्थानीयकृत बाज़ार URLs सुसंगत canonical और hreflang संबंधों का उपयोग करते हैं।

प्रस्तुत उत्पाद तथ्य

AI और खोज क्रॉलर्स को अंतिम उत्पाद तथ्यों की आवश्यकता होती है, न कि केवल एक खाली शेल की। रेंडरिंग विफलताएं स्कीमा, मूल्य, उपलब्धता या उत्पाद विशेषताओं को अदृश्य बना सकती हैं।

उदाहरण संकेत

प्रस्तुत HTML: Product स्कीमा, मूल्य, उपलब्धता, विशेषताएँ, समीक्षाएँ, वापसी और शिपिंग संदर्भ

क्या सत्यापित करें?

  • check_circleमुख्य तथ्य लॉगिन, कार्ट स्थिति या उपयोगकर्ता इंटरैक्शन की आवश्यकता के बिना दिखाई देते हैं।
  • check_circleJavaScript और ऐप विजेट महत्वपूर्ण स्कीमा में देरी नहीं करते हैं या क्रॉलर संग्रह से परे डेटा प्रदान नहीं करते हैं।
  • check_circleबॉट सुरक्षा, रीडायरेक्ट और जियोफ़ेंसिंग क्रॉलर्स को पतला या अवरुद्ध पृष्ठ प्रदान नहीं करते हैं।

सामान्य अवरोधक

पहले ठीक करने लायक मुद्दे

priority_high

अवरुद्ध AI क्रॉलर समूह

नियम GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, और PerplexityBot को अस्वीकार कर सकते हैं, या Google-Extended के माध्यम से ऑप्ट आउट कर सकते हैं। व्यापक बॉट पैटर्न दुर्घटनावश उत्पाद पृष्ठों को ब्लॉक भी कर सकते हैं।

priority_high

उत्पाद URLs पर नोइंडेक्स

एक उत्पाद पृष्ठ लाया जा सकता है लेकिन फिर भी मेटा रोबोट या X-Robots-Tag noindex निर्देशों द्वारा बाहर रखा जा सकता है।

priority_high

साइटमैप या canonical बहाव

क्रॉलर एक URL की खोज कर सकते हैं जबकि canonical, hreflang, या साइटमैप प्रविष्टियाँ एक अलग बाज़ार, संस्करण या संग्रह URL की ओर इशारा करती हैं।

priority_high

प्रस्तुत सामग्री बॉट्स से छिपी हुई है

विलंबित JavaScript, ऐप विजेट, रीडायरेक्ट, या बॉट सुरक्षा मूल्य, उपलब्धता, स्कीमा, या विशेषताओं को क्रॉलर-दृश्यमान पृष्ठ से बाहर रख सकती है।

कार्यप्रवाह

यूआरएल से लेकर फिक्स प्लान तक

01

एक लाइव उत्पाद चिपकाएँ URL

सार्वजनिक उत्पाद पृष्ठ का उपयोग करें जिसे आप खोज इंजन और AI सिस्टम से खोजना चाहते हैं, पूर्वावलोकन या व्यवस्थापक URL का नहीं।

02

प्रत्येक एक्सेस लेयर को अलग करें

ShopGox robots.txt, पृष्ठ निर्देश, साइटमैप और canonical सिग्नल और प्रस्तुत उत्पाद आउटपुट को एक साथ जांचता है।

03

सबसे पहले अवरुद्ध गेट को ठीक करें

यह तय करने के लिए रिपोर्ट का उपयोग करें कि क्या फिक्स robots.txt, थीम टेम्प्लेट, हेडर, साइटमैप सेटिंग्स, ऐप नियम या प्लेटफ़ॉर्म कॉन्फ़िगरेशन में है।

अक्सर पूछे जाने वाले प्रश्न

स्कैन करने से पहले प्रश्न

क्या AI क्रॉलर को अनुमति देने से AI दृश्यता की गारंटी मिलती है?
expand_more
नहीं, एक्सेस का मतलब केवल यह है कि क्रॉलर को पेज लाने से रोका नहीं गया है। AI दृश्यता अभी भी उत्पाद डेटा की गुणवत्ता, अधिकार, ताजगी, व्यापारी डेटा स्रोतों पर निर्भर करती है, और क्या AI सिस्टम पृष्ठ का उपयोग करना चुनता है।
क्या robots.txt noindex के समान है?
expand_more
नंबर robots.txt क्रॉलिंग को नियंत्रित करता है, जबकि noindex नियंत्रित करता है कि किसी लाए गए पृष्ठ को अनुक्रमित किया जा सकता है या नहीं। किसी पृष्ठ को robots.txt द्वारा अनुमति दी जा सकती है लेकिन मेटा रोबोट या X-Robots-Tag द्वारा इसे बाहर रखा जा सकता है।
क्या मुझे GPTBot, ClaudeBot, या PerplexityBot को ब्लॉक कर देना चाहिए?
expand_more
वह एक व्यावसायिक निर्णय है. अवरुद्ध करने से कुछ AI प्रशिक्षण या पुनर्प्राप्ति पहुंच कम हो सकती है, लेकिन इससे यह संभावना भी कम हो सकती है कि AI सिस्टम आपके उत्पाद तथ्य एकत्र करें। चेकर आपको यह देखने में मदद करता है कि आपके वर्तमान नियम क्या कर रहे हैं।
AI खोज के लिए साइटमैप एक्सेस क्यों मायने रखता है?
expand_more
साइटमैप क्रॉलर्स को canonical उत्पाद URLs खोजने और महत्वपूर्ण पृष्ठों को फिर से क्रॉल करने में मदद करते हैं। यदि उत्पाद पृष्ठ sitemap.xml, AI से गायब हैं और खोज सिस्टम कमजोर आंतरिक लिंक या पुराने URLs पर निर्भर हो सकते हैं।
क्या Shopify या ईकॉमर्स ऐप्स गलती से क्रॉलर्स को ब्लॉक कर सकते हैं?
expand_more
हाँ. थीम टेम्प्लेट, robots.txt.liquid संपादन, पासवर्ड गेट, क्षेत्र नियम, समीक्षा ऐप्स, SEO ऐप्स, बॉट सुरक्षा, और WAF उपकरण खरीदारों की तुलना में क्रॉलर को जो दिखता है उसे बदल सकते हैं।

अधिक उपकरण

उत्पाद की दृश्यता की जाँच करते रहें

एआई शॉपिंग रेडीनेस स्कैनर

ईकॉमर्स स्टोर्स के लिए एआई शॉपिंग रेडीनेस स्कैनर

एआई खोज तत्परता, उत्पाद स्कीमा, क्रॉलर एक्सेस सिग्नल, उत्पाद विशेषताएँ, अर्थ संबंधी स्पष्टता और संरचित डेटा स्थिरता के लिए ईकॉमर्स उत्पाद पृष्ठों को स्कैन करें।

arrow_forward

उत्पाद स्कीमा परीक्षक

ईकॉमर्स पेजों के लिए निःशुल्क उत्पाद स्कीमा चेकर

उत्पाद स्कीमा, ऑफ़र डेटा, JSON-LD स्थिरता, मूल्य, उपलब्धता, विशेषताएँ और AI खोज तैयारी के लिए ईकॉमर्स उत्पाद पृष्ठ देखें।

arrow_forward

शॉपिफाई स्कीमा चेकर

उत्पाद पृष्ठों के लिए Shopify स्कीमा चेकर

उत्पाद पृष्ठों के लिए निःशुल्क Shopify स्कीमा चेकर। स्कैन उत्पाद स्कीमा, वैरिएंट ऑफ़र, ऐप-इंजेक्टेड मेटाडेटा, शॉपिफाई मार्केट सिग्नल और एआई खोज तैयारी।

arrow_forward