词频统计
Word Frequency
统计每个词或 n-gram 出现了多少次，内置的分词和停用词表针对韩语，中文分词尚未支持。
统计每个词、字符或 n-gram 出现的次数，韩文分词方式写明而不是默认。韩文的空格分开的是词段——词干带着助词——不是词，所以除非另行指定，서울에서 和 서울은 算两个不同的记号。中文没有分词：按空格分词时，一句没有空格的中文是一个记号，要看中文文本的形状，用字符或 n-gram 模式。
原文
统计只扫一遍文本，在你停手 200 毫秒之后才跑。
怎么数
填 2 就把相邻的两个词当成一组来数。
这里是怎么数韩文的。
韩文的空格切开的是语节（어절）——词干加上后面的助词——而不是词，所以默认设置下 서울에서、서울은、서울의 会算成三个不同的词条。那才是对这段文字诚实的统计。「去掉助词」会在至少还剩两个音节时，把结尾的 은/는/이/가/을/를/에서/으로 之类去掉，让 서울 合成一个词条。这是个经验规则，不是形态素分析器：偶尔会削掉一个本来就以那个音节结尾的名词，而且完全不管谓词活用——갑니다、갔다、가서 仍然各算各的。
10个不同词条
数到的词元
10
不同词条
10
只出现一次的
10
hapax legomena
类符形符比
1
文章越长越低
- 1那场会拖得很长110.0%
- 2복잡합니다110.0%
- 3서울의110.0%
- 4首尔什么时候都忙110.0%
- 5首尔的会开得不错110.0%
- 6시간에는110.0%
- 7지하철은110.0%
- 8출퇴근110.0%
- 9편리하지만110.0%
- 10团队同意了这个方案110.0%
怎么用
选择记号
按空格分词是对文本最老实的读法。去掉助词让 서울 作为一个词计数。字符和 n-gram 用来看文本的形状而不是词汇，中文文本用这两种。
常见词挤占前排就去掉它们
英文和韩文停用词表，可以分别或一起用。没有中文停用词表。不去掉的话，任何列表的前排都是 the、and、그리고、하지만。
为 n-gram 设定短语长度
2 统计相邻两个词的组合，这是找出文档真正反复出现的说法、而不是碰巧用到的词的方法。
常见问题
서울에서 和 서울은 为什么分开计数？
因为它们是不同的词段，而默认统计的是文本里实际有的东西。"去掉助词"在至少剩两个音节时去掉末尾的 은/는/이/가/을/를/에서/으로，它们就合成一个。
去掉助词可靠吗？
它是启发式规则，不是形态分析器。它偶尔会切掉一个恰好以这些音节结尾的名词，对动词变位完全不处理——갑니다、갔다 和 가서 仍然分开。
类型—记号比是做什么用的？
不同的词数除以总词数——粗略衡量词汇的多样性。文本越长它越低，所以只有长度相近的文本之间比较才有意义。
可以从这些接进来
重复行去除
Duplicate Line Remover
删掉重复的行、只留下重复的行，或统计每一行出现了几次。
字数统计
Word & Character Counter
统计含空格和不含空格的字符数，以及单词、行、段落和 UTF-8 字节数。
可读性评分
Readability Score
用 Flesch–Kincaid 一类指标给英文文本打分，并估算英文和韩文的阅读时长。
KakaoTalk 聊天记录分析
KakaoTalk Chat Analyser
把 KakaoTalk 导出的记录（PC、安卓、iPhone、Mac CSV）整理成每个人的条数和占比、按小时和星期的图表、星期×小时热力图、回复时间中位数、emoji 和高频词。
接下来
这些工具吃得下当前工具的产出，结果可以直接送过去。
快速作图
Quick Chart
把表格画成柱状图、折线图、面积图、饼图或散点图，坐标轴取整、带图例，导出 SVG 或 PNG。
KakaoTalk 聊天记录分析
KakaoTalk Chat Analyser
把 KakaoTalk 导出的记录（PC、安卓、iPhone、Mac CSV）整理成每个人的条数和占比、按小时和星期的图表、星期×小时热力图、回复时间中位数、emoji 和高频词。
字数统计
Word & Character Counter
统计含空格和不含空格的字符数，以及单词、行、段落和 UTF-8 字节数。
词云图
Word Cloud
按出现频率把词按大小排进指定的形状或蒙版里，分词和停用词表是针对韩语的。
CSV 清洗
CSV Cleaner
去掉单元格首尾空白、统一表头、修正数字和日期格式，并报出列数对不上的行。
CSV 表关联（VLOOKUP）
CSV Join
按键列做内连接、左连接、右连接或全连接，并把没匹配上的行单独列出来。