robots.txt 생성기 — 크롤러 규칙 파일 온라인 생성
User-agent, Allow, Disallow, Crawl-delay, Sitemap 지시문이 포함된 유효한 robots.txt 파일을 생성하세요 — 100% 브라우저에서 실행되며 업로드나 가입이 필요 없습니다.
User-agent: * Disallow: /admin Disallow: /private
🔒 브라우저에서 생성되며 업로드되지 않습니다.
이 robots.txt 생성기의 기능
robots.txt 파일은 도메인 최상위에 위치하며, 검색엔진 크롤러가 사이트의 어떤 부분을 가져올 수 있고 없는지 알려줍니다. 이 생성기는 간단한 입력만으로 그 파일을 만들어 줍니다. 규칙을 적용할 User-agent를 지정하고(모든 봇에는 *, 특정 봇에는 Googlebot 같은 이름 사용), Allow와 Disallow 경로를 한 줄에 하나씩 입력하고, 필요하면 Crawl-delay를 초 단위로 추가하고, Sitemap URL로 크롤러를 안내하면 됩니다. 입력하는 즉시 결과가 실시간으로 갱신되며, 클릭 한 번으로 전체 파일을 복사해 사이트 루트에 robots.txt로 저장할 수 있습니다.
파일이 만들어지는 방식
생성기는 먼저 User-agent: 줄을 출력하고, 이어서 모든 Allow: 경로, 그다음 모든 Disallow: 경로를 예측 가능한 순서로 정리해 파일이 읽기 쉽고 변경 비교(diff)에도 편하게 유지됩니다. 빈 줄과 공백만 있는 줄은 무시되므로, 실수로 남은 빈 행이 잘못된 지시문이 되는 일이 없습니다. Crawl-delay: 줄은 양수를 입력했을 때만 추가되며, 사이트맵 URL을 입력하면 빈 줄로 구분한 뒤 마지막에 Sitemap: 줄이 붙습니다. 결과는 Google, Bing 등 주요 크롤러가 이해하는 널리 지원되는 로봇 배제 형식을 따릅니다.
자주 묻는 질문
생성된 robots.txt 파일을 어디에 두어야 하나요?
반드시 도메인 최상위에 두어야 하며, https://yourdomain.com/robots.txt 로 접근할 수 있어야 합니다. 크롤러는 그 위치만 확인하므로 하위 폴더에 있는 robots.txt는 무시됩니다. 결과를 복사해 robots.txt라는 이름의 일반 텍스트 파일로 저장한 뒤 사이트 루트에 업로드하세요.
Disallow를 쓰면 페이지가 Google에서 완전히 숨겨지나요?
아니요. Disallow는 규칙을 잘 따르는 크롤러에게 해당 경로를 가져오지 말라고 요청할 뿐, 비공개를 보장하지 않습니다. 다른 페이지가 링크하고 있으면 차단된 URL도 검색 결과에 나타날 수 있습니다. 페이지를 검색 결과에서 확실히 제외하려면 noindex 메타 태그나 비밀번호 보호를 사용하세요.
입력한 내용이 서버로 업로드되나요?
아니요. 전체 robots.txt 파일은 브라우저에서 JavaScript로 로컬 생성됩니다. 입력한 user-agent, 경로, 사이트맵 URL은 어디에도 전송·저장·업로드되지 않습니다.