Robots.txt निर्माता
साइटमैप URL, अनुमति और रोक वाले पथ तथा वैकल्पिक क्रॉल विलंब से robots.txt का मसौदा बनाएँ।
उपयोग कैसे करें
उपयोग कैसे करें
- साइटमैप URL और पथ दर्ज करें, फिर चाहें तो विलंब चुनें।
- पाठ जाँचें और साइटमैप वाली साइट की मूल निर्देशिका के robots.txt में कॉपी करें।
दायरा और सीमाएँ
एक User-agent: * समूह बनता है। साइटमैप प्राप्त या सत्यापित नहीं होता, डोमेन का अनुमान नहीं लगाया जाता, पहुँच नियंत्रित नहीं होती और क्रॉल या इंडेक्स की गारंटी नहीं है। पूर्ण http:// या https:// साइटमैप URL और / से शुरू होने वाले मान्य पथ दर्ज करें। अधिकतम 100 पथ, URL में 2,048 वर्ण और प्रति पथ 500 वर्ण रखें। क्रॉल विलंब 0–120 का पूर्णांक है।
मानक संबंधी टिप्पणी
Crawl-delay एक गैर-मानक विस्तार है। Google Search इसे समर्थन नहीं देता; केवल तभी इस्तेमाल करें जब लक्षित क्रॉलर के दस्तावेज़ में समर्थन बताया गया हो।
अक्सर पूछे जाने वाले सवाल
आप यह भी जानना चाहेंगे
क्या यह मेरी साइट प्रकाशित या जाँचता है?
नहीं। URL और नियम इसी ब्राउज़र में रहते हैं; उपकरण केवल आपके इनपुट का स्वरूप बनाता है।