워드프레스 robots.txt를 생성하여 최상의 SEO 실현

2025-09-28

워드프레스 블로그 개설 후 꼭 해야 하는 중요한 부분들 중 하나인 robots.txt – 워드프레스 robots.txt 조치 방법을 통해 SEO를 강화하세요. 간단한 설정으로 검색 엔진 최적화를 실현할 수 있습니다.

yoast CEO에서 인덱싱 및 SEO 설정

▧ 플러그인으로 생성 (추천)

  • Yoast SEO 또는 Rank Math, Robots.txt Editor 등 대표적인 SEO 플러그인은 robots.txt 파일 생성 기능을 제공합니다.
    • 워드프레스 관리자 → 플러그인 > 새로 추가에서 원하는 플러그인 설치·활성화.
    • 플러그인 메뉴에서 robots.txt 생성/편집 메뉴로 들어가 생성하기를 클릭하면 자동으로 파일이 만들어집니다
    • 필요한 규칙(예시 아래 참조)을 입력하고 저장하면 반영 완료.

      (예시 설정)
      textUser-agent: *
      Disallow: /wp-admin/
      Allow: /wp-admin/admin-ajax.php
      Sitemap: https://yourdomain.com/sitemap.xml
  • robots.txt 각 항목 설명 및 수정 기준
    • User-agent: *
      • 의미: 모든 검색 엔진 크롤러에 대해 아래 규칙이 적용된다는 뜻입니다.
      • 수정 필요 없음 (모든 검색엔진에 동일하게 안내할 경우 대부분 수정 불필요합니다).
    • Disallow: /wp-admin/
      • 의미: /wp-admin/(워드프레스 관리 영역)은 크롤링하지 않도록 차단.
      • 수정 필요 없음, 일반적으로 그대로 두는 것이 안전합니다.
    • Allow: /wp-admin/admin-ajax.php
      • 의미: /wp-admin/ 전체는 차단하지만 관리자 기능 중 비동기 요청에 사용되는 admin-ajax.php는 크롤링 허용.
      • 수정 필요 없음, 워드프레스에서 AJAX를 사용하는 일부 플러그인/기능들이 정상 동작하도록 반드시 필요한 예외 허용입니다.
    • Sitemap: https://yourdomain.com/sitemap.xml
      • 의미: 사이트맵 위치를 검색엔진에 명시. 구글 등 검색엔진이 구조를 더 잘 이해하게 해줍니다.
      • 반드시 실제 사이트 주소로 URL만 본인 도메인에 맞게 수정하세요.
    • 추가로, 특별히 차단하고 싶은 폴더(예: 비공개 폴더, 테스트 디렉터리 등)가 있다면 별도로 Disallow 규칙을 항목별로 추가하면 됩니다.

▧ 수동(FTP)으로 직접 생성

  • 메모장(또는 텍스트 에디터)으로 원하는 규칙을 입력 후 파일명을 꼭 robots.txt로 하여 저장하세요.
    • 반드시 UTF-8 인코딩(한글 포함 시) 권장.
  • FTP 프로그램(예: FileZilla) 또는 호스팅 파일 매니저로 사이트의 루트(최상위) 폴더에 robots.txt 파일을 업로드합니다
  • 예시 규칙은 위와 동일하게 적용.

▧ robots.txt 파일 없이 운영 시

  • 필수는 아니나, robots.txt가 없을 경우 모든 경로에 대해 크롤링이 허용된 기본 상태가 됩니다
    • SEO 관리와 크롤링 제어를 위해 직접 생성하는 것이 일반적으로 권장됩니다.

▧ 유의사항

  • robots.txt 파일은 사이트의 루트에 반드시 한 개만 위치해야 하며, 하위 폴더나 서브도메인에는 별도로 두면 효과가 없습니다
  • 완료 후, 검색엔진 robots.txt 테스트 도구(구글 서치콘솔 등)로 규칙 적용 여부를 점검하면 좋습니다.

즉, 플러그인 사용(가장 쉽고 안전), 혹은 수동 업로드, 이 두 방법 중 하나로 빠르게 robots.txt를 생성할 수 있습니다.

위로 스크롤