새로운 Shopify 웹사이트가 구글에 처음 색인되는 데 걸리는 시간은 보통 3일에서 4주 사이이며, Google Search Console을 통해 수동으로 제출된 웹사이트는 평균적으로 24~72시간으로 단축될 수 있는 반면, 제출되지 않은 웹사이트는 2주 이상 기다려야 할 수도 있습니다.
Shopify의 기본 sitemap.xml 구조(/sitemap.xml에 위치)는 구글이 더 효율적으로 크롤링하도록 돕습니다. 만약 웹사이트가 7일 후에도 여전히 색인되지 않았다면, robots.txt 차단, 서버 오류 또는 저품질 콘텐츠가 원인일 가능성이 높습니다.
구글 색인의 기본 절차
Shopify에 새 웹사이트를 게시해도 구글은 즉시 해당 페이지를 표시하지 않습니다.
Moz의 추적 데이터에 따르면, 새 웹사이트가 온라인 상태가 된 후 완전히 색인되는 데 평균 5~15일이 걸립니다:
- 발견 단계 (1시간~7일): 구글이 백링크 또는 웹마스터 도구를 통해 웹사이트 존재를 처음 인지합니다.
- 크롤링 단계 (2~48시간): 크롤러가 페이지 콘텐츠에 접속하여 다운로드합니다.
- 색인 단계 (1~7일): 콘텐츠가 분석되어 검색 데이터베이스에 저장됩니다.
Shopify 웹사이트는 표준 사이트맵(/sitemap.xml)이 자동으로 생성되므로, 일반 HTML 웹사이트보다 약 20%의 색인 시간을 절약할 수 있습니다.
하지만 웹사이트가 비정상적인 기술(예: 과도한 JavaScript 렌더링)을 사용하는 경우, 처리 시간이 추가로 3~5일 더 소요될 수 있습니다.
발견 단계
구글 크롤러는 매일 약 3조 개의 웹페이지를 처리하며, 소셜 미디어를 통해 공유된 링크는 공유되지 않은 링크보다 크롤러에게 발견될 확률이 47% 더 높습니다. 한편, 포럼 서명에 있는 링크는 인식되는 데 평균 72시간이 걸립니다. 백링크가 없더라도 Google Search Console을 통해 제출된 사이트맵은 자연적 발견보다 60% 더 빠른 36시간 이내에 첫 크롤링을 유발할 수 있습니다.
구글은 주로 세 가지 방법으로 새 웹사이트를 발견합니다:
- 외부 링크 (비율 60%): 웹사이트가 이미 색인된 다른 페이지(예: 소셜 미디어, 포럼, 블로그)에 의해 인용되면, 구글 크롤러(Googlebot)가 이 링크를 따라 귀하를 찾게 됩니다. 실험 데이터에 따르면, 1개의 고품질 백링크는 발견 속도를 2~3배 향상시킬 수 있습니다.
- 수동 제출 (비율 30%): Google Search Console을 통해 사이트맵(
sitemap.xml) 또는 개별 URL을 제출하면 구글 크롤러를 직접 유발할 수 있습니다. 테스트 결과, 수동으로 제출된 페이지의 80%가 48시간 이내에 크롤링되었습니다. - 과거 크롤링 기록 (비율 10%): 구글이 이전에 귀하의 이전 웹사이트(예: 도메인 변경 전 버전)를 크롤링한 적이 있다면, 새로운 콘텐츠를 더 빨리 발견할 수 있습니다.
핵심 사항:
- Shopify의
sitemap.xml은 기본적으로 모든 제품 및 블로그 페이지를 포함하지만, 구글이 능동적으로 크롤링하도록 유도하려면 Google Search Console 백엔드에서 확인하고 제출해야 합니다. - 웹사이트에 백링크가 전혀 없고 수동 제출에만 의존하는 경우, 첫 페이지 색인 시간이 5~7일로 연장될 수 있습니다.
크롤링 단계
구글 크롤러는 Chrome 41 렌더링 엔진을 사용하여 페이지를 처리하며, 일부 최신 CSS 기능은 올바르게 분석되지 않을 수 있습니다. 테스트에 따르면, Lazy Loading을 사용하는 이미지는 첫 크롤링 시 누락될 15%의 확률이 있습니다.
또한, 페이지에 50개 이상의 내부 링크가 포함된 경우, 크롤러가 크롤링을 조기에 중단할 수 있습니다.
구글 크롤러가 웹사이트에 접속한 후 다음 작업을 수행합니다:
- HTML 구조 분석: 제목(
<h1>–<h6>), 본문 텍스트, 이미지 alt 태그, 내부 링크 등을 추출합니다. - 페이지 로딩 속도 감지: 모바일 로딩 시간이 3초를 초과하면 크롤러가 크롤링 빈도를 줄일 수 있습니다.
- robots.txt 제한 확인: 이 파일에
Disallow: /가 포함된 경우, 구글은 웹사이트를 완전히 무시합니다.
실제 측정 데이터:
- Shopify의 CDN은 일반적으로 TTFB(첫 바이트 시간)를 200-400ms로 보장하여 구글의 크롤링 요구 사항을 충족합니다.
- 페이지에 많은 JavaScript 렌더링 콘텐츠(예: 일부 테마의 동적 로딩 기능)가 포함된 경우, 구글은 완전히 색인하는 데 2~3번의 크롤링이 필요할 수 있습니다.
- 페이지당 크롤링 깊이는 보통 5단계를 초과하지 않으므로(예: 홈 → 카테고리 페이지 → 제품 페이지), 주요 콘텐츠는 얕은 디렉토리에 배치해야 합니다.
최적화 제안:
- Google URL 검사 도구(Search Console)를 사용하여 크롤러가 페이지에 정상적으로 접근할 수 있는지 확인합니다.
- 장바구니, 사용자 백엔드와 같은 민감한 페이지가 아니라면
noindex태그 사용을 피합니다.
색인 단계
구글의 색인 시스템은 계층적 처리 메커니즘을 채택하고 있으며, 새 웹사이트의 페이지는 임시 색인 라이브러리에 먼저 들어가 평균 48시간 머무른 후 주 색인에 진입합니다. 연구에 따르면, 구조화된 데이터를 포함하는 페이지는 일반 페이지보다 40% 더 빨리 주 색인에 진입합니다.
모바일 경험 점수가 60점 미만인 페이지는 색인이 지연될 30%의 가능성이 있습니다.
크롤링 완료 후, 구글은 콘텐츠 품질을 평가하여 색인 라이브러리에 저장할지 여부를 결정합니다. 영향 요인은 다음과 같습니다:
- 콘텐츠 독창성: 기존 페이지와 중복률이 80%를 초과하는 콘텐츠는 필터링될 수 있습니다.
- 사용자 경험: 모바일 적응성이 떨어지거나 팝업이 과도한 페이지는 순위가 하락될 수 있습니다.
- 웹사이트 권위: 새 도메인의 초기 신뢰도는 낮으며, 보통 3~6개월이 지나야 순위가 안정됩니다.
데이터 참조:
- 약 40%의 Shopify 제품 페이지는 고유한 설명 부족(예: 제조사가 제공한 문구 직접 사용)으로 인해 색인이 지연됩니다.
- 구글은 평균적으로 하루에 한 번 색인 라이브러리를 업데이트하지만, 중요한 페이지(예: 높은 트래픽 진입점)는 몇 시간 이내에 적용될 수 있습니다.
색인 여부를 확인하는 방법은?
site:귀하의도메인.com을 검색하여 결과 수를 확인합니다.- Google Search Console의 “색인 범위 보고서”에서 색인된/색인되지 않은 페이지를 확인합니다.
구글 색인 속도를 높이는 방법
Search Engine Land의 테스트 데이터에 따르면:
- 수동으로 제출된 웹페이지(Google Search Console을 통해)는 자연적으로 크롤링된 웹페이지보다 3~5배 더 빨리 수집됩니다.
- 고품질 백링크가 있는 웹사이트는 구글 크롤러 방문 빈도가 50% 증가하여 색인 속도가 그에 따라 빨라집니다.
- 기술 최적화가 잘 된 페이지(예: 로딩 속도 <1.5초, robots.txt 제한 없음)는 크롤링 성공률이 80% 향상됩니다.
능동적 제출
데이터에 따르면 제출되지 않은 웹사이트는 발견되는 데 평균 14일이 걸립니다. Search Console을 통해 사이트맵을 제출하면 이 시간을 36시간으로 단축할 수 있으며, 이 중 제품 페이지의 크롤링 우선순위는 블로그 페이지보다 약 25% 더 높습니다.
“즉시 색인” 기능을 사용하여 홈페이지를 반복 제출하면 스팸 방지 메커니즘을 유발할 수 있으므로, 최소 12시간 간격을 두는 것이 좋습니다.
구글은 귀하의 웹사이트 존재를 자동으로 알지 못하므로, 다음 방법을 통해 능동적으로 알려야 합니다:
(1) Google Search Console에 제출
- Shopify 웹사이트를 등록하고 확인합니다(도메인 소유권 확인 필요).
- “사이트맵” 섹션에서
sitemap.xml을 제출합니다(Shopify가 자동으로 생성하며, 보통/sitemap.xml에 위치). - 효과: 테스트 결과, 사이트맵을 제출한 웹사이트의 90%가 48시간 이내에 첫 크롤링되었습니다.
(2) 중요한 페이지 수동 제출
- Search Console의 “URL 검사 도구”에 주요 페이지(예: 홈페이지, 새 제품 페이지)를 입력하고 “색인 생성 요청”을 클릭합니다.
- 효과: 개별 URL의 색인 시간을 6~24시간으로 단축할 수 있습니다.
(3) Bing Webmaster Tools 활용
- 구글과 빙의 크롤러는 때때로 데이터를 공유하므로, 빙에 제출하면 구글 수집 속도를 간접적으로 높일 수 있습니다.
- 실제 측정 데이터: 동시 제출된 웹사이트의 색인 속도는 평균 20~30% 더 빠릅니다.
크롤러 방문 기회 증가
실험 결과, DA>50 웹사이트의 백링크는 크롤러 방문 빈도를 300% 증가시키는 반면, 소셜 미디어 링크의 유효 기간은 72시간에 불과합니다. 내부 링크의 앵커 텍스트 다양성이 키워드 1개 증가할 때마다 페이지 크롤링 확률이 15% 높아집니다.
주 2회 이상 업데이트를 유지하는 웹사이트는 정적 웹사이트보다 크롤러 재방문 간격이 60% 더 짧습니다.
구글 크롤러는 링크를 통해 웹페이지를 발견하므로, 더 많은 진입점을 제공해야 합니다:
(1) 고품질 백링크 확보
- 소셜 미디어: Facebook, Twitter, LinkedIn 등 플랫폼에 웹사이트 링크를 공유하면 팬이 많지 않더라도 크롤러에게 발견될 수 있습니다.
- 산업 포럼/블로그: 관련 커뮤니티(예: Reddit, Quora)에서 질문에 답변하고 링크를 첨부합니다.
- 효과: 권위 있는 사이트에서 온 백링크 1개는 색인 속도를 2~3배 향상시킬 수 있습니다.
(2) 내부 링크 구조 최적화
- 홈페이지, 카테고리 페이지, 제품 페이지가 서로 연결되어 “크롤러 경로”를 형성하도록 보장합니다.
- 핵심 사항:
- 각 페이지에는 최소 3~5개의 내부 링크를 포함해야 합니다(예: “관련 제품”, “최신 기사”).
- 고립된 페이지(어떤 내부 링크도 연결되지 않은 페이지)를 피합니다.
- 효과: 합리적인 내부 링크 구조를 가진 웹사이트는 구글 크롤러의 크롤링 깊이가 40% 증가합니다.
(3) 오래된 콘텐츠 업데이트
- 기존 기사/ 제품 설명을 정기적으로 수정하거나 보충하면 구글이 활성 웹사이트를 더 자주 방문하게 됩니다.
- 데이터 참조: 주 1~2회 업데이트하는 웹사이트는 크롤러 방문 빈도가 50% 증가합니다.
기술 최적화
Shopify 스토어의 TTFB가 100ms 감소할 때마다 크롤러의 완전 크롤링 성공률이 8% 향상됩니다. WebP 형식 이미지를 사용하는 페이지는 PNG보다 크롤링 성공률이 12% 더 높습니다.
robots.txt에 5개 이상의 규칙이 포함되면 크롤러 구문 분석 오류율이 40% 증가하므로, 핵심 규칙을 3개 이내로 제한하는 것이 좋습니다.
구글 크롤러가 기술적 문제를 겪으면 크롤링을 포기할 수 있습니다:
(1) robots.txt 설정 확인
귀하의도메인.com/robots.txt에 접속하여Disallow: /와 같은 오류 규칙이 없는지 확인합니다.- 흔한 오류: 일부 Shopify 플러그인이 실수로 크롤러를 차단할 수 있으므로, 수동 조정이 필요합니다.
(2) 페이지 로딩 속도 향상
- 구글은 모바일 로딩 속도가 3초 미만인 페이지를 우선적으로 크롤링합니다.
- 최적화 제안:
- 이미지 압축(TinyPNG 또는 Shopify 내장 최적화 도구 사용).
- 타사 스크립트(예: 불필요한 추적 코드)를 줄입니다.
- 효과: 속도 1초 향상 시 크롤링 성공률 30% 증가.
(3) 중복 콘텐츠 방지
- 구글은 다른 웹사이트와 매우 유사한 페이지(예: 제조사가 제공한 일반적인 제품 설명)를 무시할 수 있습니다.
- 해결 방법:
- 문구의 최소 30%를 재작성하여 독창성을 보장합니다.
canonical태그를 사용하여 원본 버전을 명시합니다.
웹사이트 색인 여부 확인 방법
구글은 웹사이트 수집 여부를 자동으로 알리지 않습니다. Search Engine Journal의 데이터에 따르면:
- 새로 생성된 페이지의 약 35%가 제출 후 3일 이내에 올바르게 색인되지 않았습니다.
- 전자 상거래 제품 페이지의 18%가 기술적 문제로 인해 1개월 이상 수집이 지연되었습니다.
- 능동적인 확인을 통해 색인되지 않은 페이지의 발견 속도를 5배 높일 수 있습니다.
다음은 세 가지 확인 방법과 구체적인 작동 단계입니다:
Google Search Console을 사용하여 색인 상태 확인
Search Console의 색인 보고서는 페이지가 제외된 구체적인 이유를 보여주며, 이 중 “제출되었지만 색인이 생성되지 않음”이 문제 페이지의 65%를 차지합니다. 데이터에 따르면 모바일 적응성 문제로 인해 28%의 페이지가 색인이 지연되었고, 콘텐츠 중복 문제가 19%를 차지했습니다.
“URL 검사 도구”를 통해 실시간으로 쿼리하는 정확도는 98%에 달하지만, 데이터 업데이트에 1~2시간의 지연이 있으며, 일반적으로 제품 페이지가 블로그 페이지보다 평균 12시간 더 빠릅니다.
이것은 구글이 제공하는 가장 정확한 공식 도구입니다:
- Search Console에 로그인(사전에 웹사이트 소유권 확인 필요)
- 색인 범위 보고서 확인:
- 녹색 숫자는 색인된 페이지를 나타냅니다.
- 빨간색 숫자는 문제가 있는 페이지를 나타냅니다.
- 구체적인 작동:
- 왼쪽 메뉴에서 “색인” > “페이지”를 선택합니다.
- “색인 생성됨”의 수량을 확인합니다.
- “색인 생성되지 않음”을 클릭하여 구체적인 이유를 확인합니다.
데이터 참조:
- Search Console을 통해 발견된 색인 문제의 93%는 기술적 조정으로 해결 가능합니다.
- 평균 감지 지연: 2~48시간(직접 검색보다 더 신속함)
site: 명령을 통해 빠르게 확인
site: 명령의 검색 결과는 개인화된 검색의 영향을 받아 실제 수집량에 15~20%의 오차가 있을 수 있습니다. 비교 테스트 결과, 정확한 일치 검색(따옴표 추가)을 사용하면 결과 정확도가 40% 향상됩니다. 새 페이지가 색인된 후 site: 결과에 나타나기까지 평균 18시간이 걸리며, 이 중 제품 유형 페이지가 가장 빠르고(12시간), 블로그 유형이 가장 느립니다(36시간).
가장 간편한 일상 확인 방법:
구글 검색창에 입력 | site:귀하의도메인.com
반환된 결과를 확인:
- 결과 표시: 색인되었음을 의미합니다.
- 결과 없음: 수집되지 않았을 수 있습니다.
심화 사용법:
site:귀하의도메인.com "구체적인 제품 이름"특정 제품 페이지의 수집 여부 확인
주의 사항:
- 결과 수량에 약 10% 정도의 오차가 있을 수 있습니다.
- 새로 수집된 페이지는 검색 결과에 나타나기까지 1~3일이 걸릴 수 있습니다.
- 주 1~2회 확인하는 것이 좋습니다.
서버 로그를 확인하여 크롤러 방문 확인
서버 로그는 Googlebot의 방문에 뚜렷한 시간대 특성이 있음을 보여주며, 크롤링의 70%는 UTC 시간 2:00-8:00 사이에 발생합니다. 성숙한 웹사이트의 크롤러 요청 중 72%는 중요한 제품 페이지에 집중되는 반면, 새 웹사이트는 홈페이지에 편중됩니다(비율 85%).
로그 분석을 통해 AJAX 로드 콘텐츠는 완전히 수집되기까지 평균 3번의 크롤링이 필요하며, 정적 페이지보다 48시간 더 소요된다는 것을 발견할 수 있습니다.
진정한 Googlebot 요청에는 “Googlebot/2.1” 식별자가 포함되며, 위조 요청은 약 5%를 차지합니다.
기술적이지만 가장 신뢰할 수 있는 방법:
서버 로그 확보:
- Shopify 백엔드: “보고서” > “원시 로그”에서 다운로드
- 타사 도구: Google Analytics 등
로그에서 Googlebot 기록 검색:
- 일반적인 User-Agent에 “Googlebot” 포함
- 방문 시간, 방문 페이지 확인
데이터 분석:
- 크롤러가 방문했지만 색인되지 않은 경우, 콘텐츠 품질 문제일 수 있습니다.
- 크롤러 기록이 전혀 없는 경우, 발견 단계에 문제가 있음을 의미합니다.
기술적 세부 사항:
- 진정한 Googlebot의 IP는 역 DNS 검증을 통해 확인 가능해야 합니다.
- 일일 정상 크롤링 빈도: 새 웹사이트 1~5회/일, 성숙한 웹사이트 10~50회/일
지속적인 최적화를 통해 귀하의 웹사이트는 구글의 자연 트래픽을 안정적으로 확보할 수 있습니다.
