robots.txt 기술 SEO 3분

" robots.txt 한 줄이 사이트 전체를 막는 경우

배포 실수부터 와일드카드 오류까지

작성자 오태경

robots.txt 한 줄이 사이트 전체를 막는 경우

robots.txt는 단순해 보이지만, 잘못된 규칙 하나가 전체 사이트 크롤링을 차단할 수 있습니다. 특히 배포 과정에서 실수가 자주 발생합니다.

Disallow: / 를 프로덕션에 남긴 경우

개발 환경에서 검색엔진 크롤링을 막기 위해 Disallow: / 를 설정합니다. 그런데 이 설정이 프로덕션 배포 시 그대로 올라가는 경우가 실제로 발생합니다. 구글 Search Console에서 갑작스럽게 크롤링 수가 0에 가까워지면 가장 먼저 확인해야 할 곳입니다.

CSS와 JS 파일 차단

구글은 페이지를 렌더링하기 위해 CSS와 JavaScript 파일을 크롤링합니다. 이 파일들을 robots.txt로 막으면 구글이 페이지를 제대로 해석하지 못합니다. 렌더링 실패는 구조화 데이터 인식 오류로 이어질 수 있습니다.

와일드카드 패턴의 의도치 않은 범위

Disallow: /product* 처럼 와일드카드를 쓸 때는 실제로 어떤 URL이 포함되는지 반드시 테스트해야 합니다. Google Search Console의 robots.txt 테스터 도구를 활용하면 적용 범위를 미리 확인할 수 있습니다.

기술 SEO 핵심 지표

실제로 측정해야 할 수치들

3초
페이지 로드 임계값
구글은 모바일 기준 3초 이내 로딩을 권장합니다. 그 이상이면 이탈률이 눈에 띄게 올라갑니다.
90+
Core Web Vitals 목표
LCP, CLS, INP 세 항목 모두 90점 이상이면 검색 순위에 긍정적인 신호로 작용합니다.
크롤링
예산 관리
사이트 규모에 비해 크롤링 예산이 부족하면 중요한 페이지가 색인되지 않습니다. robots.txt와 sitemap 최적화가 먼저입니다.
구조화
스키마 마크업
JSON-LD 방식의 스키마 마크업은 검색 결과에서 리치 스니펫을 만들어냅니다. 구현 난이도 대비 효과가 뚜렷한 작업입니다.
HTTPS
보안 신호
2025년 현재 HTTPS는 기본값입니다. 혼합 콘텐츠 경고나 인증서 만료는 여전히 순위에 직접 영향을 줍니다.