우리 사이트가 구글에 색인되지 않는 이유는 무엇인가요?
구글 색인이 안 되는 원인은 보통 ‘발견되지 않음’, ‘크롤링은 됐지만 색인 제외’, ‘렌더링 후 콘텐츠 누락’ 중 하나입니다. 특히 스타트업 사이트는 출시 속도에 맞춰 구조가 바뀌면서 robots, canonical, sitemap, JS 렌더링 문제가 함께 섞이는 경우가 많습니다.
색인이란 검색엔진이 페이지 내용을 저장해 검색 결과 후보로 삼을 수 있는 상태를 말합니다.
먼저 확인할 기본 체크리스트
색인 문제는 감으로 보기보다 단계별로 좁혀야 합니다. Search Console 화면만 보는 것보다 실제 URL 상태, 서버 응답, 렌더링 결과를 함께 확인해야 원인을 분리할 수 있습니다.
| 점검 항목 | 확인할 내용 |
|---|---|
| HTTP 상태 | 200, 3xx, 4xx, 5xx 여부 |
| robots.txt | 구글봇 차단 규칙 존재 여부 |
| meta robots | noindex, nofollow 설정 여부 |
| canonical | 자기 자신 또는 다른 URL 지정 여부 |
| sitemap | 최신 URL 포함 및 제출 여부 |
| 렌더링 결과 | JS 실행 후 본문·링크 노출 여부 |
로그로 보면 무엇이 달라지나요?
서버 로그는 구글봇이 실제로 어떤 URL을 언제, 얼마나 자주 요청했는지 보여줍니다. Search Console은 유용하지만 샘플링과 지연이 있을 수 있어, 크롤링 우선순위를 판단할 때 로그가 중요한 근거가 됩니다.
로그에서 봐야 할 핵심은 다음입니다.
- 구글봇이 중요한 페이지를 방문했는가
- 불필요한 파라미터 URL에 크롤링 예산이 새는가
- 상태 코드 오류가 반복되는가
- 신규 페이지가 발견되는 데 시간이 오래 걸리는가
색인 누수를 줄이는 개선 방향
색인 문제는 ‘검색엔진에게 보여줄 대표 URL’을 명확히 하는 작업입니다. 중복 URL은 canonical로 정리하고, 중요한 페이지는 내부 링크와 사이트맵에 포함하며, 차단 정책은 robots와 noindex를 혼용하지 않도록 관리해야 합니다.
개발팀에는 “이 URL은 색인 대상”, “이 패턴은 제외 대상”, “이 링크는 서버 렌더링 또는 정적 HTML에 포함 필요”처럼 정책 단위로 전달하는 것이 반영이 빠릅니다.
스택메트릭 랩은 대전 유성구를 기반으로 스타트업 사이트의 크롤링·색인 로그를 분석해 추측이 아닌 데이터로 개선 우선순위를 정리합니다.
