RB

robots.txt 생성기

검색엔진 크롤러 허용/차단 규칙과 sitemap 주소를 한 번에 만듭니다.

robots.txt 미리보기

실시간 생성

경로 규칙 미리 검사

일반적인 *, $ 패턴과 가장 긴 경로 우선 규칙을 계산합니다. 실제 크롤러의 인코딩 처리나 서버에 배포된 파일까지 검사하지는 않습니다.

robots.txt로 검색엔진 크롤링 규칙을 정리하세요

robots.txt는 검색엔진 크롤러에게 어떤 경로를 수집할 수 있고 어떤 경로를 피해야 하는지 알려주는 기본 SEO 파일입니다. 관리자 페이지, 임시 파일, 검색 결과 페이지처럼 색인될 필요가 없는 경로를 차단하고, sitemap.xml 주소를 함께 제공하면 검색엔진이 사이트 구조를 이해하는 데 도움이 됩니다.

이 도구는 User-agent, Allow, Disallow, Crawl-delay, Sitemap 값을 입력해 robots.txt 파일을 즉시 생성합니다. 생성한 파일은 사이트 루트 경로에 업로드해 `https://example.com/robots.txt` 형태로 접근 가능하게 두면 됩니다.

주의할 점

경로 규칙을 설계하는 세 가지 예제

관리 화면은 제외하고 정적 리소스는 열어 두기

User-agent: *
Disallow: /admin/
Allow: /admin/help/
Sitemap: https://example.com/sitemap.xml

/admin/report는 제외하고 더 구체적인 /admin/help/start는 허용합니다. 경로는 대소문자를 구분합니다. 워드프레스 프리셋은 wp-admin을 제외하되 admin-ajax.php를 허용하고, 렌더링에 필요한 테마·플러그인 CSS/JS를 일괄 차단하지 않습니다.

특정 파일 확장자를 대상으로 하기

/*.pdf$는 끝이 .pdf인 경로에 대응합니다. 끝 표시가 없으면 .pdf 뒤에 다른 문자가 있는 주소에도 맞을 수 있습니다. 쿼리 문자열이 있는 URL은 미리보기에서 그대로 입력해 비교하세요.

전체 차단은 검색 결과 삭제 버튼이 아닙니다

Disallow: /는 크롤링 요청을 제한하지만 이미 알려진 URL이 검색에 표시되는 것까지 보장하지 않습니다. 검색 제외는 크롤러가 읽을 수 있는 noindex, 비공개 데이터는 인증·접근 통제로 다뤄야 합니다. robots.txt 자체는 누구나 읽을 수 있으므로 비밀 경로나 토큰을 적지 마세요.

배포 후 확인 순서

  1. 해당 출처의 루트 /robots.txt에서 HTTP 200과 일반 텍스트 응답을 확인합니다.
  2. http/https, www 유무, 서브도메인마다 적용 대상이 다름을 확인합니다.
  3. 사이트맵 URL은 절대 URL을 입력하고 실제 응답과 일치시키세요.
  4. Google은 Crawl-delay를 지원하지 않습니다. 서버 과부하는 캐시·응답 처리와 각 크롤러의 지원 지시어를 따로 검토하세요.

이 도구는 단일 User-agent 그룹을 만듭니다. 여러 그룹의 상속이나 우선순위 테스트는 지원하지 않습니다. 입력 내용은 브라우저에서 처리합니다. Google robots.txt 규격 · 오류 제보