本文へスキップ

CSV重複削除

CSV Deduplicator

全列または選んだキー列で重複行を取り除き、先頭・末尾・最も値の埋まった行のどれを残すか選べます。

重複した行を取り除きます。行全体で見るか、キーとして指定した列で見るかを選べます。どのコピーが残るかは既定ではなく選択です。先頭、末尾、あるいは空のセルがいちばん少ないもの。半分しか埋まっていない重複が、完全なレコードを上書きしないようにするためです。

🔒 ブラウザの中だけで動きますcsvdedupeclean

CSV か TSV ファイルを置いてください

このタブの中で読みます。アップロードはしません。韓国語・日本語・中国語・欧米版の Excel が保存したファイル(CP949, Shift_JIS, GBK, Windows-1252)を判別します。

使い方

  1. キー列を選びます

    何も選ばなければ全列が対象になり、完全に同一の行だけが見つかります。メールアドレスの列を選べば、住所が違っていても同じ人の2行が見つかります。

  2. どのコピーを残すか決めます

    古い書き出しに新しい書き出しを継ぎ足したのなら末尾が正解です。重複が別々の出所から来ていて、それぞれ違う項目を埋めているなら、いちばん埋まっているものが正解です。

  3. 取り除かれたものを見ます

    取り除かれた行はそれ自体が1つの表になり、ダウンロードできます。重複削除は元に戻せない操作なので、何が消えたかを見ることが、手遅れになる前にキーの選び方の誤りに気づく方法です。

よくある質問

同じに見える2行が両方とも残りました。

目に見えない何かが違っています。よくあるのは末尾の空白で、「前後の空白を無視」を有効にしてください。もうひとつはmacOSがハングルを字母に分けて書いている場合で、そちらはCSVクリーニングが直します。

行の順序は保たれますか。

保たれます。行は入った順のまま、取り除かれたぶんだけを抜いて出てくるので、日付で並べたファイルは日付で並んだままです。

数値の重複はどう判定されますか。

ファイルを読んだときのセルの値そのままです。片方が1000、もう片方が1,000で、その列が文字列として読み込まれていたなら、別の値です。先にCSVクリーニングの「文字列として保存された数値」の修正をかければ一致します。

ここから渡せます

次の一手

このツールが出したものをそのまま受け取れる道具です。