Robots.txt 파일: SEO에 중요한 이유

로봇 제외 프로토콜이라고도 하는 Robots.txt 파일은 SEO에 없어서는 안될 도구입니다. 이 텍스트 파일은 검색 엔진 크롤러에게 액세스할 수 있고 이후에 인덱싱할 수 있는 페이지를 알려줍니다. 또한 Robots.txt 파일은 크롤러가 웹사이트의 특정 부분에 액세스하는 것을 방지합니다. 이는 비공개 페이지가 인덱싱되는 것을 방지하려는 경우에 유용합니다. 여기에는 아직 개발 중인 페이지나 온라인 로그인 페이지가 포함될 수 있습니다. 웹사이트가 특히 광범위한 경우 Robots.txt는 가장 관련성이 높은 페이지의 색인을 생성하는 데에도 도움이 됩니다.

Robots.txt 파일에 요청을 요약하면 검색 엔진은 원하는 페이지에만 액세스할 수 있습니다. 이는 높은 수준의 개인 정보를 제공할 뿐만 아니라 크롤링 예산을 최대화합니다. 더 배우고 싶으신가요? Robots.txt 파일이 SEO에 필수적인 이유에 대한 심층 가이드를 읽으십시오.

Robots.txt 설명

Google 및 Bing과 같은 주요 검색 엔진은 웹 사이트를 검색하기 위해 소위 "크롤러"를 보냅니다. "로봇" 또는 "스파이더"라고도 하는 이 크롤러는 검색 엔진에 중요한 정보를 제공하여 사이트가 검색 엔진 결과 페이지(SERP)에서 적절하게 인덱싱될 수 있도록 합니다. 이렇게 하면 인터넷 사용자가 검색 엔진에 쿼리를 입력하여 사이트를 더 쉽게 찾을 수 있습니다. Robots.txt 파일은 검색할 수 있는 페이지와 로봇이 피해야 하는 페이지를 명확하게 설명합니다.

모든 검색 엔진 크롤러가 고객 로그인 페이지에 액세스하는 것을 차단하시겠습니까? 다음 Robots.txt 명령을 사용할 수 있습니다.

사용자 에이전트: *
허용하지 않음: websitename.com/customer-login

특정 검색 엔진에 집중하도록 명령을 조정할 수도 있습니다. Google 크롤러가 페이지에 액세스하지 못하도록 하려는 경우 다음 명령을 사용할 수 있습니다.

사용자 에이전트: Googlebot
허용하지 않음: websitename.com/customer-login

당신의 삶을 더 쉽게 하기 위해 당신이 허용하지 않는 목록에 원하는 만큼 많은 페이지를 추가할 수 있습니다. Robots.txt 파일을 만든 후에는 웹사이트의 기본 디렉토리에 배치해야 합니다. 위의 예를 지침으로 사용하여 Robots.txt 파일의 URL은 다음과 같아야 합니다.

https://www.websitename.com/robots.txt

웹 페이지에 대한 액세스를 차단하는 이유는 무엇입니까?

특정 웹 페이지에 대한 액세스를 차단하면 SEO 노력을 강화하는 데 도움이 됩니다. 따라서 Robots.txt 파일을 언제 재생해야 하는지 이해해야 합니다. 웹사이트에 중복 페이지가 포함된 경우 크롤러가 해당 페이지를 인덱싱하도록 허용해서는 안 됩니다. 왜요? 중복 콘텐츠를 인덱싱하면 SEO에 해로울 수 있습니다.

Google 및 기타 검색 엔진은 중복 콘텐츠에 대해 벌칙을 부과하지 않지만 중복 페이지의 불필요한 색인 생성은 가장 가치 있는 페이지의 순위를 높이는 것을 더 어렵게 만들 수 있습니다.

또한 Robots.txt 파일을 사용하면 크롤링 예산을 최대한 쉽게 활용할 수 있습니다. 봇 크롤링은 SEO 성능을 높일 수 있는 귀중한 상품입니다. 그러나 동시 크롤링은 소규모 사이트의 경우 압도적일 수 있습니다. 더 큰 사이트나 높은 권한을 가진 사이트는 크롤링 허용량이 더 큰 경향이 있습니다.

그러나 덜 확립된 사이트는 비교적 적은 예산으로 작업해야 합니다. Robots.txt를 설치하면 웹사이트에서 가장 중요한 페이지의 우선 순위를 지정할 수 있으므로 크롤링 예산이 보조 페이지와 불필요한 콘텐츠에 낭비되지 않습니다.

모든 사용자가 액세스할 수 없도록 하려는 웹 페이지가 있을 수도 있습니다. 웹사이트에서 서비스를 제공하거나 판매 유입경로를 포함하는 경우 고객이 특정 작업을 완료한 후에만 표시하고 싶은 페이지가 많이 있습니다. 할인 코드나 충성도 보상으로 이러한 행동을 장려하는 경우 고객 여정을 완료한 사용자만 액세스하기를 원할 것입니다. 이러한 페이지를 차단함으로써 일반 사용자가 검색 엔진 쿼리를 통해 이 정보를 우연히 발견하는 것을 방지할 수 있습니다.

Robots.txt 파일은 검색 엔진이 개인 이미지와 같은 특정 자료를 색인화하지 못하도록 하는 데에도 유용합니다. 또한 사이트맵의 위치를 ​​정확히 찾아내는 데 사용할 수 있을 뿐만 아니라 봇이 이미지를 동시에 인덱싱하려고 할 경우 서버에 과부하가 걸리는 것을 방지할 수도 있습니다.

Robots.txt 파일을 만드는 방법

이제 Robots.txt 파일이 필요한 이유를 살펴보았으므로 파일을 만드는 방법을 조사할 수 있습니다. Robots.txt 파일을 만드는 가장 쉬운 방법은 Google 웹마스터 도구를 사용하는 것입니다. 계정을 생성했으면 '크롤러 액세스'를 클릭한 다음 '사이트 구성'으로 이동합니다. 메뉴의 이 부분에 액세스한 후 'robots.txt 생성'을 클릭합니다. 이 도구를 사용하면 Robots.txt 파일을 빠르게 만들 수 있습니다.

크롤러 액세스 페이지를 차단하려면 '차단' 옵션을 선택하기만 하면 됩니다. 그런 다음 '사용자 에이전트'를 선택하여 차단할 검색 엔진 크롤러를 지정할 수 있습니다. 이제 액세스를 제한하려는 사이트 디렉토리를 입력할 수 있습니다. 대상 페이지의 전체 URL을 입력하는 대신 '디렉토리 및 파일'에 확장자를 추가하기만 하면 됩니다. 즉, 고객 로그인 페이지에 대한 크롤러 액세스를 차단하려면 다음을 입력하기만 하면 됩니다.

/고객 로그인

차단할 페이지를 결정했으면 '규칙 추가'를 클릭하여 Robots.txt를 생성할 수 있습니다. 생성된 Robots.txt는 또한 '허용' 예외에 대한 옵션을 제공합니다. 이는 특정 검색 엔진이 귀하의 사이트를 인덱싱하지 못하도록 제한하려는 경우에만 유용합니다.

모든 작업이 완료되면 다운로드 아이콘을 클릭하여 최종 Robots.txt 파일을 생성할 수 있습니다.

Robots.txt 파일은 어떻게 설치합니까?

이제 모든 힘든 작업이 처리되었습니다. 이제 Robots.txt 파일을 설치할 차례입니다. FTP 솔루션으로 파일을 업로드하여 이 작업을 직접 수행할 수 있습니다. 그러나 프로그래밍 지식에 약간의 공백이 있는 경우 전문가의 서비스를 받는 것이 가장 좋습니다. 프로그래머에게 작업을 할당하는 경우 차단할 페이지를 정확히 설명하고 예외를 지정해야 합니다.

Robots.txt 파일: 기억해야 할 주요 사항

Robots.txt 파일을 최대한 활용하려면 기억해야 할 몇 가지 모범 사례가 있습니다. 당연한 것처럼 보일 수 있지만 페이지를 잘 살펴보고 크롤링하고 색인을 생성하려는 중요한 페이지에 대한 액세스를 차단하지 않도록 하십시오.

많은 사용자가 검색 엔진 결과 페이지에 민감한 정보가 표시되는 것을 차단하기 위해 Robots.txt를 사용하지만, 대중의 눈에 띄지 않게 하는 가장 좋은 방법은 아닙니다. 차단한 페이지에 다른 페이지가 링크되어 있으면 해당 페이지의 색인이 생성될 가능성이 항상 있습니다. 다른 접근 방식을 사용하여 민감한 정보를 보이지 않게 숨깁니다.

마지막 생각들

Robots.txt 파일이 SEO에 부정적인 영향을 미치지 않도록 하려면 최신 상태로 유지해야 합니다. 웹사이트에 새 페이지, 디렉토리 또는 파일을 추가할 때마다 그에 따라 Robots.txt 파일을 업데이트해야 합니다. 이는 제한해야 하는 콘텐츠를 추가하는 경우에만 필요하지만 Robots.txt 파일을 수정하는 것이 좋습니다. 사이트 콘텐츠의 보안을 최대한 보장할 뿐만 아니라 SEO 전략에도 도움이 됩니다.

Robots.txt를 효과적으로 구현하면 크롤링 예산을 최대화하고 가장 중요한 페이지의 우선 순위를 지정하고 중복 콘텐츠의 인덱싱을 방지하고 동시 크롤링으로 인해 서버가 정지될 가능성을 최소화할 수 있습니다.

저자 약력:

Greg Tuohy는 비즈니스 프린터 및 사무 자동화 소프트웨어 제공업체인 Docutec의 전무 이사입니다. Greg는 2011년 6월에 전무 이사로 임명되었으며 Cantec Group에서 팀을 이끄는 원동력입니다. 1995년 UCC에서 과학 학위를 마친 직후 Greg는 가족 복사기/프린터 사업에 합류했습니다. Docutec은 또한 다기능 프린터와 같은 가정용 프린터도 만듭니다.