robots.txt·사이트맵 점검
robots.txt & Sitemap Checker
robots.txt와 사이트맵을 가져와 특정 URL의 크롤링 허용 여부를 확인하고 형식을 검증합니다.
사이트의 robots.txt와 사이트맵을 가져와, 입력한 경로를 크롤러별로 크롤링해도 되는지 판정합니다. 어떤 그룹의 어떤 규칙이 그렇게 결정했는지까지 보여 줍니다. "이 페이지가 왜 색인이 안 되나"를, 다른 모든 것을 조용히 막는 그 층에서 답합니다.
이 도구는 우리 서버가 대신 요청합니다. 입력한 URL만 서버로 전송되고, 브라우저의 쿠키나 로그인 정보는 함께 가지 않습니다. 서버는 공인 주소에만 접속하며 사설망·내부 주소로의 요청은 거부합니다.
사용 방법
도메인이 아니라 페이지 주소를 넣습니다
판정 대상은 경로입니다. robots.txt는 그 주소의 호스트에서 자동으로 가져옵니다.
크롤러별 판정을 읽습니다
Googlebot, Bingbot, AI 크롤러, 그리고 직접 추가한 User-agent를 각각 따로 판정합니다. robots.txt가 그룹을 따로 두기 때문입니다. 결정한 규칙은 몇 번째 줄인지와 함께 표시됩니다.
사이트맵도 함께 봅니다
Sitemap: 항목에서, 없으면 /sitemap.xml에서 가져와 항목과 문제를 보여 줍니다. 404를 내는 사이트맵이 서치콘솔에서 "가져올 수 없음"으로 표시되는 그것입니다.
자주 묻는 질문
robots.txt로 검색 결과에서 빼낼 수 있나요?
아니요. 크롤링을 막을 뿐 노출을 막지 못합니다. 다른 사이트가 링크한 차단 URL은 설명 없이 결과에 나올 수 있습니다. 크롤러가 그 페이지에 넣은 noindex를 읽는 것조차 금지되기 때문입니다. 빼내려면 크롤링을 허용하고 noindex를 내보내야 합니다.
robots.txt가 500을 내는데 문제인가요?
큰 문제입니다. RFC 9309에 따르면 5xx는 파일을 쓸 수 없다는 뜻이고, 크롤러는 좋게 해석하지 않고 사이트 전체를 금지된 것으로 봅니다. 이 파일 하나의 서버 오류가 사이트를 검색에서 통째로 들어낼 수 있습니다.
규칙 두 개가 걸리는데 어느 쪽이 이기나요?
가장 긴 규칙이 이기고, 길이가 같으면 Allow가 이깁니다(RFC 9309 §2.2.2). 표에는 실제로 결정한 규칙이 적히는데, 대개 그 부분이 의외입니다.
크롤러가 정말 지키나요?
이름 있는 크롤러는 지킵니다. robots.txt는 관례이지 접근 제어가 아닙니다. 무시하는 쪽은 그냥 가져가므로, 공개되면 안 되는 경로에는 Disallow가 아니라 인증이 필요합니다.
이 도구로 이어지는 것
링크 미리보기 점검
Link Preview Debugger
URL의 Open Graph·트위터 카드 태그를 읽어 공유했을 때의 모습을 그대로 보여 줍니다.
깨진 링크 검사
Broken Link Checker
페이지에서 링크를 최대 100개 뽑거나 붙여넣은 목록을 받아 동시에 확인하고, 각각의 상태 코드·리다이렉트 대상·응답 시간을 보여 줍니다. HEAD로 먼저 묻고 거부되면 GET으로 다시 묻습니다.
WHOIS 조회
WHOIS Lookup
도메인 등록 정보·등록기관·네임서버·만료일과 RDAP 정보를 보여 줍니다.
QR·바코드 읽기
QR & Barcode Reader
업로드한 이미지·스크린샷·카메라에서 QR과 주요 바코드를 읽습니다.
다음 단계
이 도구의 결과를 그대로 받을 수 있는 도구들입니다.
HTTP 헤더 확인
HTTP Header Inspector
URL을 요청해 전체 응답 헤더·리다이렉트 경로·소요 시간·사용된 압축 방식을 보여 줍니다.
깨진 링크 검사
Broken Link Checker
페이지에서 링크를 최대 100개 뽑거나 붙여넣은 목록을 받아 동시에 확인하고, 각각의 상태 코드·리다이렉트 대상·응답 시간을 보여 줍니다. HEAD로 먼저 묻고 거부되면 GET으로 다시 묻습니다.
링크 미리보기 점검
Link Preview Debugger
URL의 Open Graph·트위터 카드 태그를 읽어 공유했을 때의 모습을 그대로 보여 줍니다.
HTTP 요청 테스터
HTTP Request Builder
GET·POST·PUT·PATCH·DELETE·HEAD 요청을 헤더와 본문까지 지정해 보내고 상태·헤더·본문·소요 시간을 보여 줍니다. Cookie와 Authorization은 서버가 전달하지 않습니다.
바코드 생성
Barcode Generator
EAN-13·UPC·Code128·Code39·ITF 바코드를 체크디지트와 인쇄용 출력으로 만듭니다.
CSV 정리
CSV Cleaner
셀 공백을 정리하고 헤더를 통일하며 숫자·날짜 형식을 고치고 열 수가 어긋난 행을 알려 줍니다.