Robots.txt 생성기
사이트맵 URL, 허용·차단 경로와 선택적 크롤링 지연으로 robots.txt 초안을 만드세요.
사용 방법
사용 방법
- 사이트맵 URL과 경로를 입력하고 필요하면 지연을 선택하세요.
- 내용을 검토한 뒤 사이트맵과 같은 사이트의 루트 robots.txt에 복사하세요.
범위와 제한
User-agent: * 그룹 하나를 만듭니다. 사이트맵을 가져오거나 검증하지 않고 도메인을 추측하지 않으며 접근을 제어하거나 크롤링 및 색인을 보장하지 않습니다. 절대 http:// 또는 https:// 사이트맵 URL과 /로 시작하는 유효한 경로를 입력하세요. 최대 100개 경로, URL 2,048자, 경로당 500자입니다. 크롤링 지연은 0~120의 정수입니다.
표준 참고
Crawl-delay는 비표준 확장이며 Google 검색은 지원하지 않습니다. 대상 크롤러 문서에서 지원한다고 명시한 경우에만 사용하세요.
자주 묻는 질문
더 알아보기
사이트를 게시하거나 검사하나요?
아니요. URL과 규칙은 브라우저에만 있으며 입력의 형식만 정리합니다.