robots.txt 파일 생성기

1. robots.txt(전부 소문자)는 웹사이트의 루트 디렉토리에 저장되는 텍스트 파일로, 일반적으로 웹 검색 엔진 크롤러에게 이 웹사이트의 어떤 콘텐츠는 색인화할 수 있고 어떤 콘텐츠는 색인화할 수 없는지를 알려줍니다.

2. robots.txt 파일명은 반드시 소문자로 통일해야 합니다. robots.txt는 웹사이트의 루트 디렉토리에 배치해야 합니다.

3. 검색 엔진 크롤러가 하위 디렉토리에 접근하는 방식을 별도로 정의하고 싶다면, 사용자 정의 설정을 루트 디렉토리의 robots.txt에 병합할 수 있습니다.

4. robots.txt 규약은 표준이 아니라 관례에 불과하므로, 웹사이트의 개인정보를 보장할 수는 없습니다.

5. robots.txt는 문자열 비교를 통해 URL을 가져올지 여부를 결정하므로, 디렉터리 끝에 슬래시 “/”가 있느냐 없느냐에 따라 다른 URL로 간주됩니다.

1. 검색 엔진 크롤러의 접근 가능성 또는 크롤링 허용 여부

2. 검색 엔진 크롤러의 디렉터리 또는 파일 접근 가능성

3. 웹사이트 사이트맵(sitemap) 경로 정의

4. 검색 엔진 크롤러의 크롤링 간격 제한

1. 웹 인터페이스를 통해 구성할 데이터를 설정하고, '생성'을 클릭하면 robots.txt 파일 내용이 생성됩니다

2. 빈 텍스트 파일을 생성하고 이름을 “robots.txt”로 지정한 후, 위의 내용을 복사하여 “robots.txt” 파일에 붙여넣습니다

3. “robots.txt” 파일을 웹사이트의 루트 디렉터리에 배치하고, robots.txt에 접속하여 검색 크롤러가 접근할 수 있는지 확인합니다