Quy tắc robots.txt
Review liệu sản phẩm quan trọng URL hoặc nhóm trình thu thập thông tin có bị chặn bởi robots.txt hay không, bao gồm các quy tắc nhằm mục đích tìm kiếm và AI tác nhân người dùng trình thu thập thông tin.
appsCông cụ SEO
radarAI Trình kiểm tra quyền truy cập của trình thu thập thông tin
AI Trình kiểm tra quyền truy cập trình thu thập thông tin cho thương mại điện tử Product Trang
Kiểm tra xem trình thu thập thông tin tìm kiếm và AI có thể khám phá, tìm nạp, lập chỉ mục và tin cậy các trang sản phẩm của bạn hay không bằng cách xem xét robots.txt, meta robots, X-Robots-Tag, sơ đồ trang web, canonical và tín hiệu trang được hiển thị.
check_circlerobots.txt và AI quy tắc bot
check_circleRobot meta và X-Robots-Tag
check_circleSơ đồ trang web và khám phá canonical
check_circleTruy cập trang sản phẩm được hiển thị
Hệ thống đã sẵn sàng
link
Không cần đăng nhập · Quét miễn phí · Báo cáo trực tuyến tức thì
Phạm vi kiểm toán
Công cụ này kiểm tra những gì
Chỉ thị lập chỉ mục
Kiểm tra meta robots và lệnh X-Robots-Tag có thể ngăn chặn việc lập chỉ mục hoặc theo dõi các liên kết ngay cả khi robots.txt cho phép tìm nạp.
Tín hiệu khám phá
Xem sơ đồ trang web, canonical, hreflang và các tín hiệu liên kết nội bộ để trình thu thập thông tin có thể tìm thấy sản phẩm ưa thích URL.
Quyền truy cập được hiển thị
Xác định các trang trong đó JavaScript, chuyển hướng, cổng mật khẩu, khoanh vùng địa lý hoặc lỗi ứng dụng ẩn thông tin sản phẩm khỏi trình thu thập thông tin.
Bản đồ truy cập trình thu thập thông tin
Tín hiệu truy cập mà trình kiểm tra này phân tách
Truy cập trình thu thập thông tin không phải là một công tắc. Một trang có thể được cho phép trong robots.txt, bị chặn bởi noindex, bị thiếu trong sơ đồ trang web, canonicalbị xóa hoặc có thể đọc được đối với trình duyệt nhưng không đầy đủ đối với trình thu thập thông tin. Trình kiểm tra này tách từng lớp để bạn có thể biết cổng nào đang tạo ra rủi ro.
robots.txt và AI quy tắc bot
robots.txt kiểm soát xem tác nhân người dùng cụ thể có được phép tìm nạp URL hay không. Nó rất hữu ích cho việc kiểm soát thu thập thông tin nhưng nó không giống như lập chỉ mục, xếp hạng hoặc khả năng hiển thị AI.
Tín hiệu mẫu
User-agent: OAI-SearchBot / GPTBot / ClaudeBot / Claude-SearchBot / PerplexityBot / Google-Extended; Disallow: /products/Những gì cần xác minh
- check_circleProduct URL không vô tình bị chặn bởi các quy tắc Disallow rộng.
- check_circleTác nhân người dùng tìm kiếm, mua sắm và AI cụ thể được xử lý có chủ đích thay vì thông qua các quy tắc được sao chép.
- check_circleVị trí sơ đồ trang web được hiển thị khi robots.txt được sử dụng làm gợi ý khám phá.
Robot meta và X-Robots-Tag
Trình thu thập thông tin có thể tìm nạp một trang nhưng vẫn được yêu cầu không lập chỉ mục trang đó. Robot meta và tiêu đề HTTP X-Robots-Tag thường giải thích lý do tại sao một sản phẩm URL có thể được tìm thấy nhưng lại không xuất hiện trong tìm kiếm.
Tín hiệu mẫu
meta robots: noindex, nofollow; X-Robots-Tag: noindexNhững gì cần xác minh
- check_circleCác trang Product không kế thừa noindex từ dàn dựng, bộ lọc hoặc mẫu ứng dụng.
- check_circleTiêu đề và chỉ thị HTML không xung đột với nhau.
- check_circleChỉ thị lập chỉ mục phù hợp với trạng thái canonical và sơ đồ trang web của trang.
Sơ đồ trang web, canonical và khám phá thị trường
Sơ đồ trang web và canonical cho trình thu thập thông tin biết sản phẩm URL nào sẽ đại diện cho mặt hàng đó. Sự trôi dạt ở đây có thể khiến AI và hệ thống tìm kiếm thu thập sai bối cảnh biến thể, thị trường hoặc bộ sưu tập.
Tín hiệu mẫu
sitemap.xml URL + canonical sản phẩm URL + hreflang tương đương thị trườngNhững gì cần xác minh
- check_circleSản phẩm ưa thích URL xuất hiện trong sitemap.xml.
- check_circleCanonical trỏ đến trang sản phẩm chứ không phải bộ sưu tập được lọc hoặc biến thể lỗi thời.
- check_circleThị trường địa phương URL sử dụng mối quan hệ canonical và hreflang nhất quán.
Thông tin sản phẩm được hiển thị
AI và trình thu thập thông tin tìm kiếm cần thông tin thực tế về sản phẩm cuối cùng chứ không chỉ là một cái vỏ trống rỗng. Lỗi hiển thị có thể làm cho các thuộc tính lược đồ, giá cả, tình trạng còn hàng hoặc sản phẩm trở nên vô hình.
Tín hiệu mẫu
HTML được hiển thị: Product lược đồ, giá cả, tình trạng còn hàng, thuộc tính, đánh giá, bối cảnh trả lại và vận chuyểnNhững gì cần xác minh
- check_circleThông tin cốt lõi xuất hiện mà không yêu cầu đăng nhập, trạng thái giỏ hàng hoặc tương tác của người dùng.
- check_circleJavaScript và các tiện ích ứng dụng không trì hoãn lược đồ quan trọng hoặc cung cấp dữ liệu ngoài việc thu thập thông tin của trình thu thập thông tin.
- check_circleTính năng bảo vệ bot, chuyển hướng và khoanh vùng địa lý không cung cấp một trang mỏng hoặc bị chặn cho trình thu thập thông tin.
Trình chặn thông thường
Các vấn đề cần khắc phục trước tiên
Đã chặn nhóm trình thu thập thông tin AI
Các quy tắc có thể không cho phép GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot và PerplexityBot hoặc chọn không tham gia thông qua Google-Extended. Các mẫu bot rộng cũng có thể vô tình chặn các trang sản phẩm.
Noindex trên sản phẩm URLs
Một trang sản phẩm có thể tìm nạp được nhưng vẫn bị loại trừ bởi meta robot hoặc lệnh X-Robots-Tag noindex.
Sơ đồ trang web hoặc canonical trôi dạt
Trình thu thập thông tin có thể phát hiện một URL trong khi canonical, hreflang hoặc các mục trong sơ đồ trang web trỏ đến một thị trường, biến thể hoặc bộ sưu tập khác URL.
Nội dung hiển thị bị ẩn khỏi bot
JavaScript bị trì hoãn, tiện ích ứng dụng, chuyển hướng hoặc bảo vệ bot có thể khiến giá, tình trạng còn hàng, lược đồ hoặc thuộc tính nằm ngoài trang hiển thị cho trình thu thập thông tin.
Quy trình làm việc
Từ URL đến kế hoạch sửa lỗi
01
Dán sản phẩm trực tiếp URL
Sử dụng trang sản phẩm công khai mà bạn muốn công cụ tìm kiếm và hệ thống AI khám phá chứ không phải bản xem trước hoặc quản trị viên URL.
02
Tách từng lớp truy cập
ShopGox kiểm tra robots.txt, chỉ thị trang, sơ đồ trang web và các tín hiệu canonical cũng như đầu ra sản phẩm được hiển thị cùng nhau.
03
Sửa cổng chặn trước
Sử dụng báo cáo để quyết định xem bản sửa lỗi có thuộc về robots.txt, mẫu chủ đề, tiêu đề, cài đặt sơ đồ trang web, quy tắc ứng dụng hay cấu hình nền tảng hay không.
Câu hỏi thường gặp
Câu hỏi trước khi bạn quét
Việc cho phép trình thu thập thông tin AI có đảm bảo khả năng hiển thị AI không?expand_more
Không. Chỉ truy cập có nghĩa là trình thu thập thông tin không bị chặn tìm nạp trang. Khả năng hiển thị của AI vẫn phụ thuộc vào chất lượng dữ liệu sản phẩm, quyền hạn, độ mới, nguồn dữ liệu người bán và liệu hệ thống AI có chọn sử dụng trang hay không.
robots.txt có giống với noindex không?expand_more
Không. robots.txt kiểm soát việc thu thập thông tin, trong khi noindex kiểm soát liệu một trang đã tìm nạp có thể được lập chỉ mục hay không. Một trang có thể được cho phép bởi robots.txt nhưng bị loại trừ bởi meta robot hoặc X-Robots-Tag.
Tôi có nên chặn GPTBot, ClaudeBot hay PerplexityBot không?expand_more
Đó là một quyết định kinh doanh. Việc chặn có thể làm giảm quyền truy cập truy xuất hoặc đào tạo AI nhất định nhưng cũng có thể làm giảm khả năng hệ thống AI thu thập thông tin thực tế về sản phẩm của bạn. Trình kiểm tra giúp bạn xem các quy tắc hiện tại của bạn đang thực hiện những gì.
Tại sao quyền truy cập sơ đồ trang web lại quan trọng đối với tìm kiếm AI?expand_more
Sơ đồ trang web giúp trình thu thập thông tin khám phá canonical sản phẩm URL và thu thập lại thông tin các trang quan trọng. Nếu các trang sản phẩm bị thiếu trong sitemap.xml, AI và hệ thống tìm kiếm có thể dựa vào các liên kết nội bộ yếu hơn hoặc URL cũ.
Các ứng dụng Shopify hoặc thương mại điện tử có thể vô tình chặn trình thu thập thông tin không?expand_more
Vâng. Mẫu chủ đề, chỉnh sửa robots.txt.liquid, cổng mật khẩu, quy tắc khu vực, đánh giá ứng dụng, ứng dụng SEO, bảo vệ bot và các công cụ WAF có thể thay đổi những gì trình thu thập thông tin nhìn thấy so với người mua sắm.
Thêm công cụ
Tiếp tục kiểm tra khả năng hiển thị sản phẩm
Máy quét sẵn sàng mua sắm AI
Máy quét sẵn sàng mua sắm AI cho các cửa hàng thương mại điện tử
Quét các trang sản phẩm thương mại điện tử để biết mức độ sẵn sàng tìm kiếm của AI, Lược đồ sản phẩm, tín hiệu truy cập của trình thu thập thông tin, thuộc tính sản phẩm, độ rõ ràng về ngữ nghĩa và tính nhất quán của dữ liệu có cấu trúc.
Trình kiểm tra lược đồ sản phẩm
Trình kiểm tra lược đồ sản phẩm miễn phí cho các trang thương mại điện tử
Kiểm tra các trang sản phẩm thương mại điện tử để biết Lược đồ sản phẩm, Dữ liệu ưu đãi, tính nhất quán JSON-LD, giá cả, tình trạng còn hàng, thuộc tính và mức độ sẵn sàng tìm kiếm AI.
Trình kiểm tra lược đồ Shopify
Trình kiểm tra lược đồ Shopify cho trang sản phẩm
Trình kiểm tra lược đồ Shopify miễn phí cho các trang sản phẩm. Quét lược đồ Sản phẩm, ưu đãi biến thể, siêu dữ liệu được ứng dụng đưa vào, tín hiệu của Shopify Markets và mức độ sẵn sàng tìm kiếm bằng AI.