重复行去除
Duplicate Line Remover
删掉重复的行、只留下重复的行，或统计每一行出现了几次。
从列表里删掉重复的行，或者只显示重复的行——比较规则写明在界面上，不靠猜。行尾空格和 Unicode 规范化，是两行看起来相同却都在普通去重里活下来的两个原因。
行
比较规则
相同的行只留第一条。去重之后的清单。
比较前会做一次 Unicode 规范化，所以从 Mac 上复制来的谚文或带浊点的假名，和 Windows 上打出来的同一个词能对上——看着一样，字节并不一样。汉字没有分解形式，中文文本不受这一步影响。
结果
输入行数
6
不同的行
3
重复的行
2
输出行数
3
怎么用
粘贴列表
一行一个值——邮箱地址、订单号、从表格某一列复制出来的名字都行。
选择保留什么
去重后的列表、只出现过一次的值，或者只有重复过的值。当重复本身就是问题而不是噪音时，你要的是最后一种。
设定比较规则
区分大小写和首尾空格是最能改变答案的两项。打开计数会显示每个值出现了几次，这是另一个问题，但往往才是真正想问的。
常见问题
两个一样的名字都被保留了
先怀疑行尾空格——打开"忽略首尾空格"。如果不是，那就是两串看起来相同、字节不同的字符串，Unicode 规范化就是为此存在的；这个工具已经先规范化再比较，所以在 Mac 上输入的韩文名字能和在 Windows 上输入的匹配。汉字没有分解形式，中文名字不会因此不匹配。
会保留原来的顺序吗？
会。每个值的第一次出现留在原位，后面的去掉。除非你把结果拿到排序工具里，否则什么都不会被排序。
能按 CSV 的某一列去重吗？
这里不行——这个工具比较整行。CSV 去重工具按键列去重并保留行内其余字段，表格数据要用那个。
可以从这些接进来
接下来
这些工具吃得下当前工具的产出，结果可以直接送过去。
CSV 去重
CSV Deduplicator
按全部列或选定的键列去掉重复行，保留第一行、最后一行或字段最全的那一行。
列表格式转换
List Formatter
把多行文本转成逗号列表、带引号的 SQL IN 子句、JSON 数组或项目符号列表，也能反着来。
行排序与打乱
Line Sorter & Shuffler
按字母、数字或长度排序，也可以随机打乱，支持倒序和大小写选项。
词频统计
Word Frequency
统计每个词或 n-gram 出现了多少次，内置的分词和停用词表针对韩语，中文分词尚未支持。
查找与替换
Find & Replace
按字面、整词或正则表达式替换文本，支持捕获组，并把每一处命中先预览出来。
Markdown 编辑器
Markdown Editor
边写边预览 Markdown，可导出渲染后的 HTML，支持 GFM 表格和任务列表。