robots.txt・サイトマップ点検
robots.txt & Sitemap Checker
robots.txtとサイトマップを取得して、あるURLがクロールされるかを試し、サイトマップの書式も検証します。
サイトのrobots.txtとサイトマップを取得して、あるパスをクロールしてよいかをクローラーごとに判定します。どのグループのどの規則がそう決めたのかまで見せます。「このページがなぜ索引に載らないのか」を、他のすべてを黙って止めているその層で答えます。
このリクエストは、こちらのサーバーが代わりに送ります。サーバーに渡るのは入力した URLだけで、ブラウザの Cookie やログイン状態は一緒に送られません。サーバーは公開アドレスにしか接続せず、プライベートアドレスや内部アドレスへの接続は拒否します。
使い方
ドメインではなくページのURLを貼り付けます
判定の対象はパスです。robots.txtはそのURLのホストから自動で取得します。
クローラーごとの判定を読みます
Googlebot、Bingbot、AI系のクローラー、そして自分で足したUser-agentを、それぞれ別に判定します。robots.txtがグループを別に扱うからです。決め手になった規則は、何行目かとともに表示されます。
サイトマップも一緒に見ます
Sitemap: の行から、無ければ/sitemap.xmlから取得して、項目と問題を並べます。404を返すサイトマップが、Search Consoleで「取得できませんでした」と表示されるものです。
よくある質問
robots.txtで検索結果からページを外せますか
外せません。止まるのはクロールであって掲載ではありません。他のサイトからリンクされている禁止URLは、説明文なしで結果に出ることがあります。そこに置いたnoindexを、クローラーは読むことすら禁じられているからです。ページを外すには、クロールを許可したうえでnoindexを返してください。
robots.txtが500を返しています。問題ですか
大問題です。RFC 9309では5xxはファイルが利用できないという意味で、クローラーは好意的に解釈せずサイト全体を禁止と見なします。このファイル1つのサーバーエラーが、サイトを検索から丸ごと消せます。
2つの規則が当たります。どちらが勝ちますか
いちばん長く一致した規則が勝ち、同じ長さならAllowが勝ちます（RFC 9309 §2.2.2）。表には実際に決め手になった規則が出ますが、たいていそこが意外な部分です。
クローラーは本当に守るのですか
名の知れたものは守ります。robots.txtは取り決めであってアクセス制御ではありません。無視する側はどのみち取っていくので、公開されてはいけないパスにはDisallowではなく認証が要ります。
ここから渡せます
リンクプレビュー確認（OGP）
Link Preview Debugger
URLからOpen GraphとTwitterカードのタグを読み、共有したときの見え方をそのまま描きます。
リンク切れチェック
Broken Link Checker
ページから最大100本のリンクを拾うか貼り付けた一覧を受け取り、まずHEADで、断られたらGETで、状態・リダイレクト先・レスポンス時間を並行して確かめます。
WHOIS検索
WHOIS Lookup
ドメインの登録情報・レジストラ・ネームサーバー・有効期限と、あればRDAPのデータも表示します。
QR・バーコード読み取り
QR & Barcode Reader
アップロードした画像・スクリーンショット・カメラからQRコードと主要なバーコードを読み取ります。
次の一手
このツールが出したものをそのまま受け取れる道具です。
HTTPヘッダー確認
HTTP Header Inspector
URLを取得して、レスポンスヘッダーの全文・リダイレクトの連鎖・所要時間・使われた圧縮方式を表示します。
リンク切れチェック
Broken Link Checker
ページから最大100本のリンクを拾うか貼り付けた一覧を受け取り、まずHEADで、断られたらGETで、状態・リダイレクト先・レスポンス時間を並行して確かめます。
リンクプレビュー確認（OGP）
Link Preview Debugger
URLからOpen GraphとTwitterカードのタグを読み、共有したときの見え方をそのまま描きます。
HTTPリクエスト作成
HTTP Request Builder
GET/POST/PUT/PATCH/DELETE/HEADをヘッダーと本文まで指定して送り、ステータス・ヘッダー・本文・所要時間を表示します（CookieとAuthorizationは転送しません）。
バーコード生成（JAN/EAN）
Barcode Generator
EAN-13・UPC・Code128・Code39・ITFのバーコードを、チェックディジット付きの印刷できる形で作ります。
CSVクリーニング
CSV Cleaner
セルの空白を落とし、見出しを揃え、数値と日付の書式を直し、列数の合わない行を報告します。