Robots.txt 생성기

robots.txt는 웹사이트 루트 디렉토리에 위치하는 텍스트 파일로, 검색엔진 크롤러에게 사이트의 어떤 페이지를 크롤링해도 되는지 알려주는 역할을 합니다. 검색엔진 봇이 사이트에 처음 방문할 때 가장 먼저 확인하는 파일이며, SEO 전략의 핵심 구성 요소입니다. 이 도구를 사용하면 복잡한 문법을 직접 작성하지 않고도 GUI 방식으로 손쉽게 robots.txt 파일을 생성할 수 있습니다.

크롤링 차단과 색인 제외는 다릅니다

가장 많이 오해하는 지점입니다. Disallow는 크롤러가 그 페이지를 읽지 못하게 할 뿐, 검색 결과에서 빼달라는 뜻이 아닙니다. 다른 사이트가 그 주소로 링크를 걸어두면 구글은 내용을 모르는 채로 주소만 검색 결과에 노출할 수 있습니다. 설명 자리에 "이 페이지의 정보를 제공할 수 없습니다"라고 표시되는 결과가 바로 그 경우입니다.

검색 결과에서 확실히 빼려면 그 페이지에 <meta name="robots" content="noindex">를 넣어야 합니다. 그런데 robots.txt로 막아두면 크롤러가 페이지에 접근하지 못해 그 noindex 태그를 읽을 수조차 없습니다. 두 방법을 동시에 쓰면 오히려 색인 제외가 안 됩니다. 색인에서 빼는 것이 목적이라면 robots.txt에서는 허용해 두고 noindex만 사용하세요.

프리셋 고르기

• 모두 허용 — 전체를 공개합니다. 사실 robots.txt가 없어도 같은 결과지만, 파일이 있으면 404 요청이 줄고 사이트맵 위치를 함께 알릴 수 있습니다.
• 모두 차단 — 개발 중이거나 스테이징 서버에 씁니다. 운영 사이트에 실수로 올리면 검색 유입이 사라지므로 배포 전 반드시 확인하세요.
• AI 크롤러 차단 — 생성형 AI 학습용 수집기를 지정해 막습니다. GPTBot, ChatGPT-User, Claude-Web, anthropic-ai, Google-Extended, CCBot, Bytespider가 포함됩니다. Google-Extended는 검색 색인과 별개로 학습 용도만 제어하므로 이것을 막아도 검색 순위에는 영향이 없습니다.
• 표준 설정 — 전체를 허용하되 관리자 페이지처럼 공개할 필요 없는 경로만 제외하는 무난한 구성입니다.

문법에서 자주 틀리는 것

경로는 항상 /로 시작하며 대소문자를 구분합니다. /Admin/과 /admin/은 다른 규칙입니다. 끝에 슬래시를 붙인 /private/는 그 디렉터리 아래만 막지만, 슬래시 없는 /private는 /private-notes.html처럼 같은 글자로 시작하는 다른 주소까지 함께 막습니다.

규칙은 가장 구체적으로 일치하는 것이 우선하므로, Disallow: /admin/과 Allow: /admin/help를 함께 두면 도움말 페이지만 열립니다. User-agent 블록은 하나만 적용된다는 점도 중요합니다. 특정 봇 이름이 적힌 블록이 있으면 그 봇은 * 블록을 아예 보지 않으므로, 개별 봇 블록에도 필요한 규칙을 모두 적어야 합니다.

Crawl-delay는 요청 간격을 초 단위로 요청하는 항목인데 구글은 이 값을 무시합니다. 빙과 일부 크롤러만 참고하며, 구글의 크롤링 속도는 서치 콘솔에서 조정합니다.

자주 묻는 질문

파일을 어디에 올려야 하나요?

반드시 도메인 최상위인 example.com/robots.txt여야 합니다. 하위 경로에 두면 무시됩니다. 서브도메인은 별개로 취급되므로 blog.example.com에는 그 도메인용 파일을 따로 올려야 합니다. 프로토콜과 포트도 구분됩니다.

비공개 페이지를 숨기는 용도로 써도 되나요?

안 됩니다. robots.txt는 누구나 열어볼 수 있는 공개 파일이라, 여기에 /secret-admin/을 적는 순간 그 경로의 존재를 광고하는 셈이 됩니다. 게다가 악의적인 크롤러는 이 파일을 지킬 의무가 없습니다. 보호가 필요하면 로그인이나 서버 접근 제어를 쓰세요.

수정하면 언제 반영되나요?

크롤러가 파일을 다시 읽어야 하며 보통 하루 정도 캐시됩니다. 급하다면 구글 서치 콘솔의 robots.txt 보고서에서 재크롤링을 요청할 수 있습니다.

사이트맵도 여기에 적나요?

적을 수 있고 적는 편이 좋습니다. Sitemap: https://example.com/sitemap.xml 형식으로 전체 주소를 쓰며, User-agent 블록 밖 아무 위치에나 두면 됩니다. 여러 줄로 여러 개를 적어도 됩니다.