Tagagawa ng Robots.txt
Bumuo ng burador ng robots.txt mula sa URL ng sitemap, mga pinapayagan at ipinagbabawal na landas, at opsyonal na pagitan ng pagkuha ng pahina.
Paano gamitin
Paano gamitin
- Ilagay ang URL ng sitemap at mga landas, saka pumili ng pagitan kung kailangan.
- Suriin ang teksto at kopyahin sa robots.txt sa ugat ng parehong site ng sitemap.
Saklaw at limitasyon
Isang pangkat na User-agent: * ang ginagawa. Hindi kinukuha o sinusuri ang sitemap, hindi hinuhulaan ang domain, hindi kinokontrol ang pag-access, at hindi ginagarantiyahan ang pagkuha o pag-index ng pahina. Maglagay ng ganap na http:// o https:// na URL ng sitemap at wastong mga landas na nagsisimula sa /. Hanggang 100 landas, 2,048 karakter sa URL at 500 karakter bawat landas. Buong bilang na 0–120 ang pagitan.
Tala sa pamantayan
Hindi pamantayang dagdag ang Crawl-delay. Hindi ito suportado ng Google Search; gamitin lamang kung nakasaad sa dokumentasyon na sinusuportahan ito ng target na crawler.
Mga madalas itanong
Maaari mo ring alamin
Inilalathala o sinusuri ba nito ang aking site?
Hindi. Nananatili sa browser ang URL at mga tuntunin; inaayos lamang ang pagkakasulat ng iyong input.