重複行の削除
Duplicate Line Remover
重複した行を消すか、重複だけを残すか、各行が何回出てきたかを数えます。
一覧から重複した行を消すか、重複した行だけを見せます。比較の規則は推測させず画面に出します。同じに見える2行が普通の重複削除で両方とも生き残る理由は、行末の空白とUnicode正規化の2つです。
行
比べ方
同じ行は最初の1つだけ残します。重複を取り除いた一覧です。
比較はUnicode正規化のあとで行うので、Macでコピーした「が」（か＋濁点）とWindowsで打った「が」が一致します。見た目は同じでもバイト列は別物です。
結果
入力した行
6
異なる行
3
重なった行
2
出力した行
3
使い方
一覧を貼り付けます
1行に値を1つ。メールアドレスでも注文番号でも、表計算の列からコピーした名前でもかまいません。
何を残すか選びます
重複を消した一覧、ちょうど1回しか出てこなかった値だけ、重複した値だけ、の3つから選べます。重複そのものが問題のときに要るのは最後のものです。
比較の規則を決めます
答えがいちばん変わるのは、大文字小文字の区別と前後の空白の2つです。件数表示をオンにすると値ごとの出現回数が出ます。別の問いですが、実はそちらが知りたかったという場合が多くあります。
よくある質問
同じ名前が2つとも残りました
まず行末の空白を疑って「前後の空白を無視」をオンにしてください。それでないなら、見た目が同じでバイト列が違う2つの文字列です。Unicode正規化はそのためのもので、このツールは正規化してから比べるので、Macで入力した名前とWindowsで入力した名前が一致します。
元の順序は保たれますか
保たれます。各値の最初の1つはその場に残り、後ろのものが消えます。並べ替えツールに渡さないかぎり、順序には触りません。
CSVの1列を基準に重複を消せますか
ここではできません。このツールは行全体を比べます。CSV重複削除ツールがキー列を基準に消し、行の残りはそのまま残します。表形式のデータにはそちらが合います。
ここから渡せます
行の並べ替え・シャッフル
Line Sorter & Shuffler
行を辞書順・数値順・長さ順に並べ替えるか無作為に混ぜ、逆順と大文字小文字の扱いも選べます。
空白の整理
Whitespace Cleaner
行末の空白を落とし、連続した空白を1つにまとめ、タブを変換し、空行を取り除きます。
リスト形式の変換
List Formatter
複数行をカンマ区切り・引用符付きのSQL IN句・JSON配列・箇条書きに変え、また元に戻します。
パターン抽出
Pattern Extractor
文章の塊からメールアドレス・URL・数値・日付や自分で書いた正規表現に一致する箇所をすべて一覧にします。
次の一手
このツールが出したものをそのまま受け取れる道具です。
CSV重複削除
CSV Deduplicator
全列または選んだキー列で重複行を取り除き、先頭・末尾・最も値の埋まった行のどれを残すか選べます。
リスト形式の変換
List Formatter
複数行をカンマ区切り・引用符付きのSQL IN句・JSON配列・箇条書きに変え、また元に戻します。
行の並べ替え・シャッフル
Line Sorter & Shuffler
行を辞書順・数値順・長さ順に並べ替えるか無作為に混ぜ、逆順と大文字小文字の扱いも選べます。
単語の出現頻度
Word Frequency
単語やn-gramが何回出てきたかを数え、韓国語向けの分かち書きとストップワード一覧に対応します。
検索と置換
Find & Replace
文字列・単語単位・正規表現で置換し、キャプチャグループを使って、当たった箇所をすべて事前に確認できます。
Markdownエディタ
Markdown Editor
Markdownをリアルタイムのプレビュー付きで書き、GFMの表とタスクリストごとHTMLに書き出します。