กฎของ Robots.txt
Review ไม่ว่าผลิตภัณฑ์ที่สำคัญ URLs หรือกลุ่มโปรแกรมรวบรวมข้อมูลจะถูกบล็อกโดย robots.txt รวมถึงกฎที่มุ่งเป้าไปที่การค้นหาและ AI ตัวแทนผู้ใช้โปรแกรมรวบรวมข้อมูล
ตรวจสอบว่าการค้นหาและโปรแกรมรวบรวมข้อมูล AI สามารถค้นพบ ดึงข้อมูล จัดทำดัชนี และเชื่อถือหน้าผลิตภัณฑ์ของคุณโดยการตรวจสอบ robots.txt, เมตาโรบ็อต, X-Robots-Tag, แผนผังเว็บไซต์, canonical และสัญญาณของหน้าที่แสดงผล
ไม่จำเป็นต้องเข้าสู่ระบบ · สแกนฟรี · รายงานออนไลน์ทันที
ความครอบคลุมการตรวจสอบ
Review ไม่ว่าผลิตภัณฑ์ที่สำคัญ URLs หรือกลุ่มโปรแกรมรวบรวมข้อมูลจะถูกบล็อกโดย robots.txt รวมถึงกฎที่มุ่งเป้าไปที่การค้นหาและ AI ตัวแทนผู้ใช้โปรแกรมรวบรวมข้อมูล
ตรวจสอบเมตาโรบ็อตและคำสั่ง X-Robots-Tag ที่สามารถป้องกันการจัดทำดัชนีหรือติดตามลิงก์ แม้ว่า robots.txt อนุญาตให้ดึงข้อมูลก็ตาม
ดูแผนผังไซต์ canonical, hreflang และสัญญาณลิงก์ภายใน เพื่อให้โปรแกรมรวบรวมข้อมูลสามารถค้นหาผลิตภัณฑ์ที่ต้องการ URL
ระบุหน้าที่ JavaScript การเปลี่ยนเส้นทาง ประตูรหัสผ่าน ขอบเขตทางภูมิศาสตร์ หรือแอปล้มเหลว ซ่อนข้อเท็จจริงของผลิตภัณฑ์จากโปรแกรมรวบรวมข้อมูล
แผนที่การเข้าถึงโปรแกรมรวบรวมข้อมูล
การเข้าถึงของโปรแกรมรวบรวมข้อมูลไม่ใช่สวิตช์เดียว อนุญาตให้ใช้เพจได้ใน robots.txt ถูกบล็อกโดย noindex หายไปจากแผนผังไซต์ canonical หายไป หรือเบราว์เซอร์สามารถอ่านได้แต่ไม่สมบูรณ์สำหรับโปรแกรมรวบรวมข้อมูล ตัวตรวจสอบนี้จะแยกแต่ละเลเยอร์เพื่อให้คุณเห็นว่าประตูใดที่สร้างความเสี่ยง
robots.txt ควบคุมว่าตัวแทนผู้ใช้บางรายได้รับอนุญาตให้ดึงข้อมูล URL หรือไม่ มีประโยชน์สำหรับการควบคุมการรวบรวมข้อมูล แต่ไม่เหมือนกับการจัดทำดัชนี การจัดอันดับ หรือการมองเห็น AI
ตัวอย่างสัญญาณ
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/สิ่งที่ต้องตรวจสอบ
โปรแกรมรวบรวมข้อมูลสามารถดึงข้อมูลหน้าเว็บได้และยังคงได้รับคำสั่งไม่ให้จัดทำดัชนี เมตาโรบ็อตและส่วนหัว HTTP X-Robots-Tag มักจะอธิบายว่าทำไมผลิตภัณฑ์ URL จึงค้นพบได้แต่หายไปจากการค้นหา
ตัวอย่างสัญญาณ
meta robots: noindex, nofollow; X-Robots-Tag: noindexสิ่งที่ต้องตรวจสอบ
แผนผังไซต์และ canonical บอกโปรแกรมรวบรวมข้อมูลว่าผลิตภัณฑ์ URL ควรเป็นตัวแทนของสินค้าใด การเลื่อนไปที่นี่อาจทำให้ AI และระบบการค้นหารวบรวมรายละเอียดปลีกย่อย ตลาด หรือบริบทการรวบรวมที่ไม่ถูกต้อง
ตัวอย่างสัญญาณ
sitemap.xml URL + canonical ผลิตภัณฑ์ URL + hreflang เทียบเท่ากับตลาดสิ่งที่ต้องตรวจสอบ
AI และโปรแกรมรวบรวมข้อมูลการค้นหาต้องการข้อมูลผลิตภัณฑ์ขั้นสุดท้าย ไม่ใช่เพียงเชลล์ว่าง ความล้มเหลวในการแสดงผลอาจทำให้สคีมา ราคา ความพร้อมจำหน่าย หรือคุณลักษณะของผลิตภัณฑ์ไม่ปรากฏ
ตัวอย่างสัญญาณ
HTML ที่แสดงผล: Product สคีมา ราคา ความพร้อมจำหน่าย คุณลักษณะ บทวิจารณ์ การคืนสินค้า และบริบทการจัดส่งสิ่งที่ต้องตรวจสอบ
บล็อคเกอร์ทั่วไป
กฎอาจไม่อนุญาต GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot และ PerplexityBot หรือเลือกไม่ใช้ผ่าน Google-Extended รูปแบบบอทแบบกว้างสามารถบล็อกหน้าผลิตภัณฑ์โดยไม่ได้ตั้งใจได้
สามารถดึงหน้าผลิตภัณฑ์ได้ แต่ยังคงถูกยกเว้นโดยเมตาโรบ็อตหรือคำสั่ง X-Robots-Tag noindex
โปรแกรมรวบรวมข้อมูลอาจค้นพบ URL หนึ่งรายการในขณะที่ canonical, hreflang หรือรายการแผนผังไซต์ชี้ไปยังตลาด ตัวแปร หรือคอลเลกชันอื่น URL
ความล่าช้า JavaScript วิดเจ็ตแอป การเปลี่ยนเส้นทาง หรือการป้องกันบ็อตสามารถกันราคา ความพร้อมใช้งาน สคีมา หรือแอตทริบิวต์ออกจากหน้าที่โปรแกรมรวบรวมข้อมูลมองเห็นได้
ขั้นตอนการทำงาน
01
ใช้หน้าผลิตภัณฑ์สาธารณะที่คุณต้องการให้เครื่องมือค้นหาและระบบ AI ค้นพบ ไม่ใช่หน้าตัวอย่างหรือผู้ดูแลระบบ URL
02
ShopGox ตรวจสอบ robots.txt คำสั่งของเพจ แผนผังเว็บไซต์ และสัญญาณ canonical และเอาต์พุตผลิตภัณฑ์ที่แสดงผลร่วมกัน
03
ใช้รายงานเพื่อตัดสินใจว่าการแก้ไขอยู่ใน robots.txt เทมเพลตธีม ส่วนหัว การตั้งค่าแผนผังเว็บไซต์ กฎของแอป หรือการกำหนดค่าแพลตฟอร์มหรือไม่
คำถามที่พบบ่อย
เครื่องมือเพิ่มเติม
เครื่องสแกนความพร้อมในการช้อปปิ้ง AI
สแกนหน้าผลิตภัณฑ์อีคอมเมิร์ซเพื่อดูความพร้อมในการค้นหาของ AI สคีมาผลิตภัณฑ์ สัญญาณการเข้าถึงของโปรแกรมรวบรวมข้อมูล คุณลักษณะของผลิตภัณฑ์ ความชัดเจนด้านความหมาย และความสอดคล้องของข้อมูลที่มีโครงสร้าง
ตัวตรวจสอบสคีมาผลิตภัณฑ์
ตรวจสอบหน้าผลิตภัณฑ์อีคอมเมิร์ซเพื่อดูสคีมาผลิตภัณฑ์ ข้อมูลข้อเสนอ ความสอดคล้องของ JSON-LD ราคา ความพร้อมจำหน่าย แอตทริบิวต์ และความพร้อมในการค้นหา AI
Shopify ตัวตรวจสอบสคีมา
เครื่องมือตรวจสอบสคีมาของ Shopify ฟรีสำหรับหน้าผลิตภัณฑ์ สแกนสคีมาผลิตภัณฑ์ ข้อเสนอตัวเลือก เมตาดาต้าที่แทรกโดยแอป สัญญาณของ Shopify Markets และความพร้อมในการค้นหาของ AI