robots.txt 与站点地图检测
robots.txt & Sitemap Checker
抓取 robots.txt 和 sitemap，测试某个网址是否允许抓取，并校验 sitemap 的格式。
抓取一个站点的 robots.txt 和站点地图，然后判定某个路径能否被抓取——按爬虫逐一判定，显示是哪个分组的哪条规则做的决定。它在那个会悄悄挡住其他一切的层面上，回答"这个页面为什么没被收录"。
这个请求由我们的服务器代你发出。送到服务器的只有你输入的网址，你的 Cookie 和登录状态都不会跟着走。服务器只连接公网地址，私有地址和内网地址一律拒绝。
怎么用
粘贴页面 URL，不是域名
被判定的是路径。robots.txt 会自动从那个 URL 的主机抓取。
按爬虫读判定
Googlebot、Bingbot、各家 AI 爬虫以及你添加的任何 User-agent 各自单独判定，因为 robots.txt 对它们分组。做决定的那条规则会连同行号一起显示。
顺便检查站点地图
站点地图从 Sitemap: 行抓取，没有就抓 /sitemap.xml，列出它的条目和问题。返回 404 的站点地图，就是 Search Console 报告为无法抓取的那个。
常见问题
robots.txt 能把页面从搜索结果里去掉吗？
不能——它挡的是抓取，不是收录。一个被屏蔽、又被其他站点链接的 URL 仍可能出现在结果里，只是没有描述，因为爬虫被禁止读取你放在页面上的 noindex。要移除页面，得允许抓取并返回 noindex。
我的 robots.txt 返回 500——要紧吗？
非常要紧。按 RFC 9309，5xx 意味着文件不可用，爬虫会把整个站点当作禁止抓取，而不是往好处假设。这一个文件的服务器错误能把整个站点从搜索里拿掉。
两条规则都匹配我的路径——哪条赢？
最长的匹配赢，长度相同时 Allow 赢（RFC 9309 §2.2.2）。表格会点出实际做决定的那条规则，通常那就是意外所在。
爬虫真的遵守这个吗？
有名有姓的那些遵守。robots.txt 是约定，不是访问控制——无视它的爬虫照样抓页面，所以绝不能公开的路径需要的是身份验证，不是一行 Disallow。
可以从这些接进来
链接预览排查
Link Preview Debugger
读出网址上的 Open Graph 和 Twitter card 标签，把这条链接被分享出去时的样子原样画出来。
死链检测
Broken Link Checker
从一个页面里最多抽出 100 条链接，或者直接收下你粘贴的列表，并发逐条检查状态码、跳转目标和响应时间，先发 HEAD，被拒就改用 GET。
WHOIS 域名查询
WHOIS Lookup
显示域名的注册信息、注册商、域名服务器和到期时间，有 RDAP 数据的一并给出。
二维码与条码识别
QR & Barcode Reader
从上传的图片、截图或摄像头里读出二维码和常见条形码。
接下来
这些工具吃得下当前工具的产出，结果可以直接送过去。
HTTP 响应头检测
HTTP Header Inspector
请求一个网址，列出完整的响应头、跳转链路、各段耗时和实际用到的压缩方式。
死链检测
Broken Link Checker
从一个页面里最多抽出 100 条链接，或者直接收下你粘贴的列表，并发逐条检查状态码、跳转目标和响应时间，先发 HEAD，被拒就改用 GET。
链接预览排查
Link Preview Debugger
读出网址上的 Open Graph 和 Twitter card 标签，把这条链接被分享出去时的样子原样画出来。
HTTP 请求调试
HTTP Request Builder
构造并发出带自定义请求头和请求体的 GET/POST/PUT/PATCH/DELETE/HEAD 请求，显示状态码、响应头、响应体和耗时，且从不转发 Cookie 和 Authorization。
条形码生成
Barcode Generator
生成 EAN-13、UPC、Code128、Code39 和 ITF 条形码，自动补校验位，输出可直接打印。
CSV 清洗
CSV Cleaner
去掉单元格首尾空白、统一表头、修正数字和日期格式，并报出列数对不上的行。