robots.txt 검사기
robots.txt 텍스트를 붙여 넣고 지시문 그룹과 흔한 구문 문제를 로컬에서 확인합니다.
사용 방법
사용 방법
- robots.txt 텍스트
- 로컬에서 검사
범위와 제한
붙여 넣은 텍스트만 읽습니다. 사이트를 가져오거나 실제 크롤링을 시험하지 않습니다. 일반적인 User-agent, Allow, Disallow, Sitemap, Host 구문과 그룹 구조, 중복 지시문, 지원하지 않는 행을 확인하며 Google 또는 robots 제외 표준의 완전한 구현은 아닙니다.
자주 묻는 질문
더 알아보기
robots.txt 텍스트
붙여 넣은 텍스트만 읽습니다. 사이트를 가져오거나 실제 크롤링을 시험하지 않습니다. 일반적인 User-agent, Allow, Disallow, Sitemap, Host 구문과 그룹 구조, 중복 지시문, 지원하지 않는 행을 확인하며 Google 또는 robots 제외 표준의 완전한 구현은 아닙니다.