CSV 去重
CSV Deduplicator
按全部列或选定的键列去掉重复行,保留第一行、最后一行或字段最全的那一行。
删除重复行,按整行或者按你指定为键的那几列。保留哪一份是一个选择,不是一个默认值:第一份、最后一份,或者空单元格最少的那份,这样一条填了一半的重复记录不会盖掉一条完整的。
把 CSV 或 TSV 文件拖到这里
在这个标签页里读取,不会上传。能认出韩文版、日文版、中文版和西文版 Excel 存出来的文件(CP949、Shift_JIS、GBK、Windows-1252)。
怎么用
选择键列
一个都不选意味着所有列,这只会找出完全相同的行。选一个邮箱列,就能找出同一个人的两行,即使他们的地址不同。
决定保留哪一份
把新导出追加到旧导出后面时,“最后一份”是对的。重复来自不同来源、各自填了不同字段时,“最完整的”是对的。
看看删掉了什么
删掉的行是一张单独的表,可以下载。去重是破坏性的,看清删掉的是什么,才能在出问题之前发现键选错了。
常见问题
两行看起来一样,却都保留了
有看不见的地方不一样。尾部空格是最常见的——打开“忽略首尾空格”。另一个是 macOS 把韩文写成分离的字母(jamo),CSV 清洗工具能修这一个。
行的顺序保留吗?
保留。行按进来的顺序出去,只减去被删掉的,所以按日期排好序的文件仍然按日期排序。
对数字来说什么算重复?
按文件读入时的单元格值。如果一行写 1000、另一行写 1,000,而这一列是按文本读入的,它们就是不同的。先运行 CSV 清洗工具的“存成文本的数字”修复,它们就会匹配。
可以从这些接进来
接下来
这些工具吃得下当前工具的产出,结果可以直接送过去。
CSV 清洗
CSV Cleaner
去掉单元格首尾空白、统一表头、修正数字和日期格式,并报出列数对不上的行。
列统计概览
Column Statistics
为每一列列出记录数、空值、唯一值、最小、最大、均值、中位数和分布。
CSV 查看器
CSV Viewer
打开很大的分隔符文件,识别列类型、给出列统计和排序,全程不把整份文件读进内存。
重复行去除
Duplicate Line Remover
删掉重复的行、只留下重复的行,或统计每一行出现了几次。
CSV 表关联(VLOOKUP)
CSV Join
按键列做内连接、左连接、右连接或全连接,并把没匹配上的行单独列出来。
快速作图
Quick Chart
把表格画成柱状图、折线图、面积图、饼图或散点图,坐标轴取整、带图例,导出 SVG 或 PNG。