Unicode文字の解析
Unicode Inspector
テキストをコードポイントに分解し、名前・ブロック・用字系とUTF-8/UTF-16のバイト列を示します。
テキストの中のコードポイントを1つずつ並べ、名前・ブロック・用字系・UTF-8とUTF-16のバイト列・エスケープ形式を見せます。人が1文字と呼ぶ単位にまとめ直す2つ目の表示もあります。上限に余裕があるように見える文章をフォームがはじく理由を説明するのは、その2つ目です。
原文
コードポイントをすべて並べます。長い入力は 2,000 行で打ち切ります。
コードポイント9個
| 文字 | コードポイント | 名前 | ブロック | 用字 | UTF-8 | UTF-16 | エスケープ |
|---|---|---|---|---|---|---|---|
| 한 | U+D55C | HANGUL SYLLABLE HAN | Hangul Syllables | Hangul | ED 95 9C | D55C | \uD55C %ED%95%9C |
| 글 | U+AE00 | HANGUL SYLLABLE GEUL | Hangul Syllables | Hangul | EA B8 80 | AE00 | \uAE00 %EA%B8%80 |
| · | U+0020 | SPACE | Basic Latin | Other | 20 | 0020 | \u0020 %20 |
| A | U+0041 | LATIN CAPITAL LETTER A | Basic Latin | Latin | 41 | 0041 | \u0041 %41 |
| 1 | U+0031 | DIGIT ONE | Basic Latin | Digit | 31 | 0031 | \u0031 %31 |
| · | U+0020 | SPACE | Basic Latin | Other | 20 | 0020 | \u0020 %20 |
| 😀 | U+1F600 | Emoticons U+1F600（ブロック名） | Emoticons | Common | F0 9F 98 80 | D83D DE00 | \u{1F600} %F0%9F%98%80 |
| · | U+0020 | SPACE | Basic Latin | Other | 20 | 0020 | \u0020 %20 |
| ㈜ | U+321C | Enclosed CJK Letters and Months U+321C（ブロック名） | Enclosed CJK Letters and Months | Hangul | E3 88 9C | 321C | \u321C %E3%88%9C |
使い方
テキストを貼り付けます
正体の分からない1文字でも、点検したい行全体でもかまいません。長い入力は2,000行で切ります。
コードポイントの表を読みます
名前で文字を特定し、ブロックでUnicodeのどの区画に住んでいるかを知り、バイトの列で保存にかかる大きさが分かります。
個数を知りたければ書記素の表示に切り替えます
人が1文字と呼ぶものごとに1行、その中のコードポイントを添えて並べます。家族の絵文字は1つに7つ、Macで入力した「が」は1つに2つです。
よくある質問
1文字がコードポイント2つになるのはなぜですか
濁点が分かれているからです。「が」が「か」と結合用濁点（U+3099）に分かれた形で、macOSはファイル名をこの形で書きます。合成済みの形とまったく同じに描かれ、比較すると別の値になります。正規化ツールが元どおりにつなぎます。
名前の代わりにブロック名が出る文字があります
Unicodeの名前データベースは全体で2 MBほどあり、段落1つに名前を付けるためにそれを取ってくるのは割に合いません。ハングル音節と漢字は標準自身の規則から正確に計算し、ASCII・制御文字・よく使う約物は小さな表から引き、残りはブロックで示します。
エスケープの列は何に使いますか
JavaScriptの形はソースコードに、URLの形はクエリ文字列に入れます。文字をそのまま受け取らない場所に、その文字を正確に入れられるよう両方を出しています。
ここから渡せます
テキストの反転
Text Reverser
文字列・単語の並び・行の順序を逆にし、書記素単位で扱うので絵文字も壊れません。
見えない文字の除去
Invisible Character Remover
貼り付けた文章に紛れたゼロ幅スペース・BOM・ソフトハイフン・双方向制御文字を見つけて取り除きます。
Unicode正規化
Unicode Normaliser
NFC・NFD・NFKC・NFKDを適用する、Macから来た日本語で濁点が分かれて見た目は同じなのに一致しないときの直し方です。
HTMLエンティティ変換
HTML Entity Encoder
HTMLの実体参照をエスケープして元に戻し、名前・10進・16進の書き方を出し分けます。
次の一手
このツールが出したものをそのまま受け取れる道具です。
絵文字・顔文字検索
Emoji & Kaomoji Search
絵文字・顔文字・特殊記号を韓国語か英語の名前で探し、ひと押しでコピーします。
16進ダンプビューアー
Hex Viewer
どんなファイルもオフセット・16進・ASCIIのダンプで開き、マジックバイトから形式を当て、検索の当たりを光らせます。
Unicode正規化
Unicode Normaliser
NFC・NFD・NFKC・NFKDを適用する、Macから来た日本語で濁点が分かれて見た目は同じなのに一致しないときの直し方です。
見えない文字の除去
Invisible Character Remover
貼り付けた文章に紛れたゼロ幅スペース・BOM・ソフトハイフン・双方向制御文字を見つけて取り除きます。
CSVクリーニング
CSV Cleaner
セルの空白を落とし、見出しを揃え、数値と日付の書式を直し、列数の合わない行を報告します。
CSV結合（VLOOKUP）
CSV Join
キー列で2つの表を内部・左・右・外部結合し、相手のいない行も一覧します。