robots.txt 생성기

robots.txt로 검색엔진 크롤링 규칙을 정리하세요

robots.txt는 검색엔진 크롤러에게 어떤 경로를 수집할 수 있고 어떤 경로를 피해야 하는지 알려주는 기본 SEO 파일입니다. 관리자 페이지, 임시 파일, 검색 결과 페이지처럼 색인될 필요가 없는 경로를 차단하고, sitemap.xml 주소를 함께 제공하면 검색엔진이 사이트 구조를 이해하는 데 도움이 됩니다.

이 도구는 User-agent, Allow, Disallow, Crawl-delay, Sitemap 값을 입력해 robots.txt 파일을 즉시 생성합니다. 생성한 파일은 사이트 루트 경로에 업로드해 `https://example.com/robots.txt` 형태로 접근 가능하게 두면 됩니다.

주의할 점

• robots.txt는 보안 장치가 아니므로 민감한 URL을 숨기는 용도로 사용하면 안 됩니다.
• 전체 차단 설정은 검색 노출에 큰 영향을 줄 수 있으니 배포 전에 꼭 확인하세요.
• sitemap.xml 주소는 절대 URL로 입력하는 것이 좋습니다.