robots.txt परीक्षक
robots.txt पाठ चिपकाकर निर्देश समूह और सामान्य syntax समस्याएँ स्थानीय रूप से जाँचें।
उपयोग कैसे करें
उपयोग कैसे करें
- robots.txt पाठ
- स्थानीय जाँच
दायरा और सीमाएँ
यह परीक्षक केवल आपके चिपकाए पाठ को पढ़ता है। यह साइट नहीं लाता और वास्तविक crawling नहीं जाँचता। यह सामान्य User-agent, Allow, Disallow, Sitemap और Host syntax, समूह संरचना, दोहराए निर्देश और असमर्थित पंक्तियाँ जाँचता है; यह सभी Google या robots exclusion standards का पूर्ण कार्यान्वयन नहीं है।
अक्सर पूछे जाने वाले सवाल
आप यह भी जानना चाहेंगे
robots.txt पाठ
यह परीक्षक केवल आपके चिपकाए पाठ को पढ़ता है। यह साइट नहीं लाता और वास्तविक crawling नहीं जाँचता। यह सामान्य User-agent, Allow, Disallow, Sitemap और Host syntax, समूह संरचना, दोहराए निर्देश और असमर्थित पंक्तियाँ जाँचता है; यह सभी Google या robots exclusion standards का पूर्ण कार्यान्वयन नहीं है।