" robots.txt 한 줄이 사이트 전체를 막는 경우
배포 실수부터 와일드카드 오류까지
작성자 오태경
robots.txt는 단순해 보이지만, 잘못된 규칙 하나가 전체 사이트 크롤링을 차단할 수 있습니다. 특히 배포 과정에서 실수가 자주 발생합니다.
Disallow: / 를 프로덕션에 남긴 경우
개발 환경에서 검색엔진 크롤링을 막기 위해 Disallow: / 를 설정합니다. 그런데 이 설정이 프로덕션 배포 시 그대로 올라가는 경우가 실제로 발생합니다. 구글 Search Console에서 갑작스럽게 크롤링 수가 0에 가까워지면 가장 먼저 확인해야 할 곳입니다.
CSS와 JS 파일 차단
구글은 페이지를 렌더링하기 위해 CSS와 JavaScript 파일을 크롤링합니다. 이 파일들을 robots.txt로 막으면 구글이 페이지를 제대로 해석하지 못합니다. 렌더링 실패는 구조화 데이터 인식 오류로 이어질 수 있습니다.
와일드카드 패턴의 의도치 않은 범위
Disallow: /product* 처럼 와일드카드를 쓸 때는 실제로 어떤 URL이 포함되는지 반드시 테스트해야 합니다. Google Search Console의 robots.txt 테스터 도구를 활용하면 적용 범위를 미리 확인할 수 있습니다.
기술 SEO 핵심 지표