1. 크롤 큐(검출)
전제적으로 검색 엔진은 페이지를 URL별로 인식합니다. 예를 들어 후행 슬래시가 없어도 다른 URL로 인식합니다. 그리고, 이 검출의 타이밍으로 크롤
하는 URL을 발견해, 큐로서 (이미지로서는) 리스트화해 갑니다. 검색한 URL에 대해 크롤링하는 것이군요.
따라서 우선 검색엔진이 해당 페이지(URL)를 찾을 수 있도록 하는 것이 포인트입니다.
이때 내부 링크, 외부 링크 및 XML 사이트맵이 검색의 주요 수단이 됩니다. 따라서 신규 사이트나 내부 링크가 설정되어 있지 않은 고아 페이지 등은
검색 엔진을 좀처럼 찾을 수 없다는 것도 있습니다.
2. 크롤링
검색한 페이지(URL)에 대해 검색 엔진은 크롤링합니다. 자세한 것은 아래의 참고 기사를 확인해 주셨으면 합니다만, 페이지의 정보를 취득하는 이미지를
가져 주시면 좋겠습니다.
따라서, 이때의 포인트로서는 검색 엔진이 URL에 액세스 할 수 있도록 robots.txt로 불필요한 크롤의 블록을 하지 않는 것이나, 크롤의 부담을
줄이기 위해서 URL의 정규화, 불필요한 페이지를 생성하지 않도록 에 사이트의 환경을 정돈하는 것이 포인트가됩니다.
3. 렌더링
검색 엔진은 페이지를 인덱싱하여 문제가 없는지 확인하기 위해 렌더링이라는 브라우저에서 페이지를 보도록 그리는 작업을 수행합니다. 2. 크롤링으로 얻은
데이터를 바탕으로 페이지를 그린다고 생각해 주시면 좋을까 생각합니다.
이 작업을 수행하면 시각적으로 페이지 내용을 파악하고 표시할 수 없는 리소스의 존재를 인식할 수 있습니다.
덧붙여 검색 엔진의 JavaScript를 취급하는 성능은, 기본적으로 최신판의 Chrome과 동등이며, 브라우저로 표시할 수 있는 경우는 검색 엔진도
실행할 수 있는 이미지로 OK입니다.
그러나 모든 사이트에서 무한대로 크롤링할 수 없으며 각 사이트에는 크롤링 할당이 있습니다. 따라서 이미지 등의 리소스나 페이지 표시에 시간이 걸리는
사이트에서는 크롤링이나 렌더링에도 영향을 미칠 수 있습니다.
4. 인덱스
1~3의 공정을 거쳐 인덱스 되는 것이 됩니다. 다만, 이하의 경우는, 인덱스 되지 않는 일도 있습니다.
색인할 가치가 없는 페이지로 판단됨
렌더링이 제대로 수행되지 않았습니다.
중복 페이지 및 소프트 404와 같은 오류로 판단됨
그 경우는 각각 대응이 필요하게 됩니다만, 원래의 인식을 「검색 엔진은 인덱스 해 당연하다」라고 생각하지 않고, 인덱스 되는 가치가 있는 문제가 없는
페이지를 목표로 합시다.
부드러운 인덱스를 촉구하는 포인트
페이지가 인덱싱되기 위해서는 크롤러가 페이지를 쉽게 인식할 수 있도록 하는 것이 중요합니다. 여기에서는 부드러운 인덱스를 촉구하는 포인트를
소개합니다.
XML Sitemap을 만들고 내부 링크 정리
웹사이트에 온 크롤러는 링크를 따라 웹사이트 내를 순회하고, 도착한 페이지를 인덱스 해 갑니다.
이 때, 사이트내의 구조가 알기 쉽게 되어 있으면, 페이지로부터 페이지로 순회하기 쉽고 인덱스도 부드럽게 행해집니다. 크롤러의 순회를 도와주는 것이
사이트맵입니다.
사이트맵이라고 하면, 사용자를 위해서 사이트내의 페이지 구조를 알기 쉽게 일람한
페이지라고 생각될지도 모릅니다.
이러한 사용자를 위한 사이트맵을 'HTML 사이트맵'이라고 합니다. 물론 HTML 사이트 맵을 설치하는 것도
중요하지만, 실은 사이트 맵에는 또 하나 있습니다. 이것은 크롤러에게 사이트 정보를 전달하는 'XML Sitemap'입니다.
XML Sitemap은, 사이트의 갱신일이나 갱신 빈도등을 기재해 두어, 웹 사이트와 같은 서버에 설치합니다. XML Sitemap은 기본적으로
사용자의 눈에 닿지 않습니다.
XML Sitemap을 참조하는 것은 검색 엔진 크롤러입니다. XML Sitemap에서 사이트 정보를 크롤러에
전달하여 색인을 유도하는 효과를 기대할 수 있습니다.
그럼에도 불구하고 기본적으로 XML Sitemap이 아니라 내부 링크가 크롤링의 중요한 포인트입니다.
'그 페이지에 대한 내부 링크가 하나도 없다'는 상태에서 검색 엔진은 페이지를 탐지하기 어려울 뿐만 아니라 페이지의 중요성을 이해하기 어려워집니다.
신규 페이지가 사이트 TOP, 카테고리 TOP에 표시되도록 하는, 관련 기사에서는 내부 링크를 설정하는, 데이타베이스 사이트이면, 카테고리 페이지나 빵
부스러기 리스트를 적절히 활용해, 내부 링크가 도달하기 위해서 유의하십시오.
페이지 제목을 적절하고 간결하게 만들기
페이지의 제목과 콘텐츠 내용에 무결성이 없으면 크롤러에게는 인식하기 어려워집니다. 제목은 짧고 간결하지만 콘텐츠의 내용을 올바르게 표현하는 문장이
되도록 하십시오.
SEO를 위해 관련 키워드를 너무 담아서 제목이 길어지면 검색 결과에서 생략되어 버리므로 금물입니다. 사용자에게 알기 쉬운 제목이 크롤러에게도 인식하기
쉽다고 생각합시다.
이미지나 동영상에는 대체 텍스트 등을 적절히 사용
페이지의 이미지나 동영상에는 내용을 나타내는 대체 텍스트(alt 속성)를 넣어 둡시다. 예를 들어, 이미지만으로 구성된 상품 페이지 등은 각 이미지에
대체 텍스트를 넣지 않으면 크롤러가 인식할 수 없고 인덱스되지 않을 우려가 있습니다.
크롤러가 인식할 수 있는 것은 어디까지나 텍스트 정보이며, 이미지나 동영상의 내용까지는 인식할 수 없습니다. 텍스트가 있는 페이지에서도 이미지별로
적절한 대체 텍스트를 넣어 텍스트와의 일관성을 유지하세요.
사이트 표시 속도 향상
Google 크롤러는 서버에 부하를 주지 않도록 크롤링 빈도에 상한선을 제공합니다.
크롤링이 서버에 부하를 준다고 인식하면 해당 페이지로의 크롤링 빈도를 낮출 수 있습니다. 크롤러에 의한 크롤 시간이 짧아지면 서버에의 부하가
저감되므로, 웹 사이트측에서 표시 속도가 보다 빨라지도록 해 봅시다.
웹사이트를 모바일 지원하기
이제 사용자의 대부분이 PC보다 스마트폰이나 태블릿 단말기로 웹사이트를 열람하고 있습니다. 사용자의 방문 추세가 변화함에 따라 Google 도 색인에서
모바일 우선 순위를 내고 있습니다. 모바일 단말기에도 적합한 웹사이트가 되고 있을지도 부드러운 색인 등록에 필수적인 요인이 되고 있습니다.
Google Search Console에서 URL 재검토
크롤러는 링크를 따라 주기적으로 순환하고 인덱스를 수행합니다. 그러므로 링크되지 않은 페이지나 게시한지 얼마 안되는 페이지는 좀처럼 인덱싱되지 않을 수
있습니다.
그런 경우에는 색인을 유도하기 위해 구글서치콘솔을 활용하세요. 먼저 해당 페이지의 URL이 인덱싱되었는지 확인합니다. Google Search
Console을 열고 'URL 검사'를 선택합니다. 해당 페이지의 URL을 입력하고 [테스트] 버튼을 클릭하면 해당 페이지가 현재 색인되어 있는지 여부를 알
수 있습니다. 인덱싱되지 않은 경우 인덱싱 요청 버튼을 클릭합니다.
인덱스 수와 SEO의 관계
사이트 내에서 인덱싱된 페이지의 수가 많을수록 SEO적으로 유리할까요?
사실 색인 된 페이지 수는 SEO와 전혀 관련이 없습니다. SEO에서 중요한 것은 "품질이 높은 페이지"가 많이 있고 색인되어 있다는
것입니다.
가치가 낮은 페이지를 대량으로 만들고 모두 인덱싱해도 그 수를 가지고 사이트의 평가가 오르는 것은 아닙니다.
그러므로 색인 앞에 사이트의 콘텐츠를 검토하고 고품질의 기사를 많이 만드는 것을 우선 의식합시다. 질 높은 콘텐츠가 생기면 그들을 색인 해 나가는
흐름으로 진행합시다. SEO는 무엇보다 품질이 높은 콘텐츠입니다. 「인덱스만 하면 검색 순위가 오른다」라고 하는 마법은 존재하지 않습니다.
굳이 인덱싱하지 않는 방법도
질이 높다고는 말할 수 없는 페이지가 있지만, 곧 리라이트할 수 없는 때는 어떻게 하면 좋을까요.실은 특정 페이지를 크롤러의 크롤링 대상에서 제외하도록
하는 방법이 있습니다.
noindex (노 인덱스)라는 태그를 사용합니다. noindex 태그가 포함된 페이지는 크롤러가 순회해도 인덱싱되지 않으며 검색결과에 표시되지
않습니다. 고품질 페이지만으로 웹 사이트를 평가하게 됩니다.
요약
색인이란 게시된 웹페이지가 검색 엔진 데이터베이스에 등록되어 검색 결과에 표시되는 상태를 의미합니다.
SEO의 기초중의 기초가 되는 부분이지만, 페이지수가 많은 사이트등은 인덱스되지 않는다고 하는 과제도 빈번합니다.
검색엔진에서 원하는 키워드의 상위 랭킹에 오르기 위해서는 수백가지의 SEO 내용들을 분석하고 최적화 해야 합니다.
네이버, 구글 SEO 마케팅을 원한다면, 당사의 SEO 전문가에게 상담을
받으실수 있습니다.
다음 단계로 성장하는데 도움이 될 수 있는 방법에 대해 자세히 알아보려면 문의하기를 클릭하세요.