跳到正文

CSV 去重

CSV Deduplicator

按全部列或选定的键列去掉重复行,保留第一行、最后一行或字段最全的那一行。

删除重复行,按整行或者按你指定为键的那几列。保留哪一份是一个选择,不是一个默认值:第一份、最后一份,或者空单元格最少的那份,这样一条填了一半的重复记录不会盖掉一条完整的。

🔒 完全在你的浏览器里运行csvdedupeclean

把 CSV 或 TSV 文件拖到这里

在这个标签页里读取,不会上传。能认出韩文版、日文版、中文版和西文版 Excel 存出来的文件(CP949、Shift_JIS、GBK、Windows-1252)。

怎么用

  1. 选择键列

    一个都不选意味着所有列,这只会找出完全相同的行。选一个邮箱列,就能找出同一个人的两行,即使他们的地址不同。

  2. 决定保留哪一份

    把新导出追加到旧导出后面时,“最后一份”是对的。重复来自不同来源、各自填了不同字段时,“最完整的”是对的。

  3. 看看删掉了什么

    删掉的行是一张单独的表,可以下载。去重是破坏性的,看清删掉的是什么,才能在出问题之前发现键选错了。

常见问题

两行看起来一样,却都保留了

有看不见的地方不一样。尾部空格是最常见的——打开“忽略首尾空格”。另一个是 macOS 把韩文写成分离的字母(jamo),CSV 清洗工具能修这一个。

行的顺序保留吗?

保留。行按进来的顺序出去,只减去被删掉的,所以按日期排好序的文件仍然按日期排序。

对数字来说什么算重复?

按文件读入时的单元格值。如果一行写 1000、另一行写 1,000,而这一列是按文本读入的,它们就是不同的。先运行 CSV 清洗工具的“存成文本的数字”修复,它们就会匹配。

可以从这些接进来

接下来

这些工具吃得下当前工具的产出,结果可以直接送过去。