링크는 크롤링을 하는 데에 페이지 발견의 요인이 됩니다.

내부 링크가 거의없는 페이지를 만들지 않음
검색엔진이 추적할 수 없는 형식으로 링크를 만들지 않음
링크는 유저 최우선의 사고방식으로 설치해도 상관없습니다만, 최소한 이점만은 신경쓰고 사이트에 링크를 설치해 갑시다.

※네이버, 구글 검색엔진은 href 속성이 지정된 a 태그만 링크를 따라갈 수 있습니다.

【포인트 4】 robots.txt 설정
스테이징 환경의 미완성 페이지나, 요 로그인 페이지, 회원 한정 컨텐츠 등 크롤링할 필요가 없는 페이지가 대량으로 존재하고 있는 경우는, robots.txt로 disallow를 설정합시다.

단, disallow를 설정해도 외부 링크 등을 바탕으로 색인되는 경우가 있으므로 검색 결과에 표시하지 않으려면 noindex를 부여하는 것이 좋습니다.

【포인트 5】 URL을 재검토하고 통일한다
'https://'나 'www'가 없거나 URL이 복수로 나누어지거나 하고 있는 경우는 '1개의 페이지에 정리하는 것'이 추천입니다. 구체적으로는, 리디렉션을 하고 알림을 크롤러가 파악할 수 있도록 합시다.

URL의 통일을 할 때의 리디렉션은, 「301 리다이렉트」가 추천입니다. '302 리디렉션'은 URL이 일시적으로 변경될 때 사용하는 방법이므로 주의하세요.

【포인트 6】 URL 파라미터 설정
사이트 내에서 검색 결과를 가지고 있는 EC 사이트나 구인 사이트 등에서는 대량의 페이지가 생성됩니다. 그중에는 내용이 중복되어 있는 페이지도 대량으로 생성되기 때문에, 중요도가 낮은 페이지는 Google 검색 콘솔의 URL 파라미터의 제어를 이용해 특정의 파라미터, 또는 특정의 값이 포함된 파라미터를 포함된 URL이 크롤링되지 않도록 합니다.

다만, 파라미터를 설정했다고 해서 확실히 크롤링되지 않게 되는 것은 아닙니다. 크롤링의 효율성을 돕는 아이디어가 적절할 것입니다.

참고: Search Console 고객센터, 해외 SEO정보 블로그

【포인트 7】 링크가 끊어진 페이지는 삭제한다
크롤러는 링크를 따라 사이트 내를 검색하고 있기 때문에, 링크가 끊기 페이지가 있으면 검색 할 수 있었을 것의 페이지에 갈 수 없게 되어 버립니다.

또, 링크 끊김이 너무 많으면 웹사이트를 방문한 독자에게 스트레스를 주어 버려, 도중에 이탈해 버리는 것에 연결될 수 있습니다. 그 결과, SEO에서 마이너스 평가가 되어, 웹페이지의 순위가 내려가 버리는 원인이 되는 경우도 있습니다.

때문에, 평소에 링크가 끊어진 페이지는 없는지, 링크가 끊어져 도착할 수 없는 페이지가 발생하고 있는지 체크하는 것을 추천합니다. 연결이 끊긴 페이지는 구글 서치 콘솔 검사 도구로 쉽게 확인할 수 있습니다.

링크 끊김에 의한 영향이나 구체적인 확인 방법에 대해서는, 이하를 읽어 주세요!


【포인트 8】 페이지 표시 속도 개선

사이트 표시 속도를 높이면 사용자 편의성이 향상될 뿐만 아니라 크롤러 크롤링 속도도 높아집니다. 서버 오류나 시간 초과가 많으면 서버 상태에 문제가 있는 것으로 간주되어 크롤링이 느려집니다.

또한 서버 측 문제뿐만 아니라 이미지 파일, CSS, Javascript 등의 리소스에 대해서도 크롤러빌리티에 영향을 미칩니다.

【포인트 9】Javascript 최적화
네이버, 구글 크롤러는 최신 버전의 Chrome과 동등한 렌더링 기능을 가지고 있으며 일반적으로 JavaScript를 실행할 수 있다고 생각할 수 있습니다.

그러나, 페이지 표시까지 기다려 주는 브라우저와 달리, 렌더링시에 자바스크립트의 실행에 시간이 걸리는 경우는, 해당 부분의 렌더링을 실시할 수 없는 경우도 발생해 최악의 경우 인덱스 되지 않는 일도 있습니다.

또한 검색엔진은 사이트 콘텐츠를 클릭할 수 없기 때문에 클릭하여 실행되는 JavaScript 등은 기본적으로 크롤링할 수 없습니다.

그럼에도 불구하고 이전에 비해 구글 크롤러의 자바스크립트 처리 능력은 현저히 올라가고, 별로 의식하지 않더라도 크롤링 인덱스는 됩니다.

하지만 자바스크립트를 많이 사용하는 사이트 등에서 일절 배려하지 않으면 인덱스에 악영향이 있을 가능성도 아직 높습니다.

크롤러 액세스를 확인하는 세 가지 방법

마지막으로 크롤러가 검색했는지 확인하는 방법을 소개합니다.

【방법 1】 페이지 단위로 확인하기
【방법 2】 사이트 전체의 크롤링 정보 확인
【방법 3】응답 확인

【방법 1】 페이지 단위로 확인하기
URL 검사 기능을 사용하면 대상 URL이 마지막으로 크롤링된 시점을 볼 수 있습니다. 절차는 Search Console을 열고 사이드 컬럼의 "URL 검사"또는 페이지 상단의 입력창을 클릭하고 확인하고 싶은 페이지의 URL을 입력하십시오.

덧붙여 말미의 슬래시의 유무 등에서도 다른 URL로서 인식되기 때문에, 확인할 때에는 주의합시다. URL 검사의 커버리지 탭에는 마지막 크롤링 날짜와 그 상황이 나와 있습니다.

등록여부는 사이트와 페이지에 따라 다릅니다.

예를 들어 매일 업데이트되는 순위 페이지에서 크롤링 간격이 상당히 비어 있는 경우 크롤링에 문제가 있을 수 있습니다. 이 경우 구글 서치 콘솔에서 크롤러를 요청하십시오.

한편, 단어의 의미가 변하지 않는 사전과 같은 콘텐츠의 페이지라면 페이지 갱신 빈도가 낮기 때문에 크롤링 빈도가 비어있더라도 큰 문제가 되지 않는 경우가 많습니다.

【방법 2】 사이트 전체의 크롤링 정보 확인
사이트 전체의 크롤링 정보를 확인하고 싶을 때는 「크롤링 통계」가 편리합니다.

사이트와 비교할 수 있는 것도 아니고, 시책에 빠지기 힘들기 때문에, 주목해 주셨으면 하는 것은 이하의 2점이 됩니다.

크롤링하려는 페이지 수와 일일 크롤링 요청 수 비교
크롤링 요청은 웹사이트 규모 및 기타 요인에 의해 결정되며, 많으면 좋지 않습니다. 하지만 사이트를 인덱싱하려는 페이지 수와 비교하여 크롤링 요청 수가 적은 상태가 지속적으로 지속되는 경우 사이트에서 크롤링을 방해하는 요인이있을 수 있습니다.

또한 크롤링 요청 횟수가 급격히 떨어지거나 늘어나는 경우에는 주의해야 합니다. 크롤 수가 크게 증감하는 데는 어떤 원인이 있어 인위적인 실수가 숨어 있는 경우도 있기 때문입니다.

예를 들어 robots.txt에서 새로 추가한 규칙이 작용하고, 페이지의 HTML이 손상되었거나, 서버에 부하가 걸려 사이트가 무거워지고 있다는 원인이 될 수 있습니다. 크롤링 빈도가 어느 날 갑자기 크게 변동했을 때 그 원인을 찾습니다.

호스트 상태에서 오류가 발생하지 않았습니까?
여기에서 "robots.txt 얻기", "DNS 해결", "서버 연결"의 세 가지 항목에서 오류가 발생했는지 확인할 수 있습니다. 오류가 발생하면 크롤링뿐만 아니라 사이트 자체에서 문제가 발생했을 수 있으므로 정기적으로 확인하십시오.

【방법 3】응답 확인
'응답 확인'에서는 크롤링 시 수신한 응답의 데이터를 확인할 수 있습니다.

정상적인 사이트의 경우는 OK(200)나 301, 302 리디렉션, 발견되지 않았습니다(404)등이 중심이 됩니다만, 서버 에러나 클라이언트 에러의 수가 많은 경우에는 그러한 페이지를 수정할 필요 있습니다.

※404 에러 자체는 어느 사이트에서도 발생하는 것으로, 의도적이지 않은 404 에러를 제외하고, 일정 수 있는 것이 통상입니다.

크롤러는 SEO 측면에서도 중요한 역할을 하고 있다
여기까지 크롤러, 네이버, 구글 검색의 크롤링, 크롤링 최적화의 포인트, 크롤링 확인 방법 등을 설명했습니다.

다시 마지막으로 명기해 두면 모든 사이트에서 크롤링이 문제가 되는 것은 아닙니다. 수백 페이지가 넘는 사이트라면 구글 크롤러가 잘 크롤링합니다.

그러나 사이트를 시작할 때 등 가능한 한 검색 엔진 친화적 인 사이트를 염두에두는 것과 그렇지 않은 것은 큰 차이가 있습니다.

별로 SEO에 힘을 넣지 않는 예정의 사이트일수록, 최초의 타이밍으로 가능한 한 대응합시다.

아커스는 SEO를 메인으로 하는 지원 최적화 서비스를 실시하고 있습니다. 전문가의 조언을 듣고싶다면 아래의 문의하기로 신청해주시기 바랍니다.