単語の出現頻度
Word Frequency
単語やn-gramが何回出てきたかを数え、韓国語向けの分かち書きとストップワード一覧に対応します。
単語・文字・n-gramが何回出てくるかを数えます。韓国語をどう分けるかは仮定せずに書いておきます。韓国語の空白は単語ではなく어절 — 語幹に助詞が付いた塊 — を切るので、指定しないかぎり서울에서と서울은は別々の2つのトークンになります。
原文
テキストを一度なぞって数えます。入力が止まってから 200 ms 後に走ります。
数え方
2 にすると隣り合う二語をひと組として数えます。
異なり項目10件
数えたトークン
10
異なり数
10
一度だけ出た項目
10
hapax legomena
タイプ・トークン比
1
文章が長くなるほど下がります
- 1복잡합니다110.0%
- 2서울의110.0%
- 3시간에는110.0%
- 4지하철은110.0%
- 5출퇴근110.0%
- 6打ち合わせは長引きました110.0%
- 7편리하지만110.0%
- 8ソウルでの打ち合わせはうまくいきました110.0%
- 9ソウルはいつでも混んでいて110.0%
- 10チームは計画に合意しました110.0%
使い方
数える単位を選びます
空白で分けたそのままが、その文章の正直な集計です。助詞を落とす設定は서울を1語としてまとめます。文字とn-gramは、語彙ではなく文章の形を見るためのものです。
ありふれた語が上位を埋めるなら外します
英語と韓国語のストップワード一覧を、別々にでも一緒にでも使えます。外さないと、どの一覧でも上位はthe・and・그리고・하지만が占めます。
n-gramなら語数を決めます
2にすると隣り合う2語を1つの塊として数えます。たまたま使われた単語ではなく、その文書が実際に繰り返している言い回しを見つける方法です。
よくある質問
서울에서と서울은が別々に数えられるのはなぜですか
別の어절であり、既定では文章に実際にあるものを数えるからです。「助詞を落とす」は、音節が2つ以上残るときに末尾の은/는/이/가/을/를/에서/으로などを取り除いて、1つにまとめます。
助詞の切り落としは信用できますか
形態素解析器ではなく当て推量です。その音節で終わる本物の名詞をたまに切ってしまいますし、用言の活用にはまったく手を出しません。갑니다・갔다・가서は別々のままです。
タイプ・トークン比は何に使いますか
異なり語数を総語数で割った値で、語彙の多様さを粗く測る指標です。文章が長くなるほど下がるので、長さの似た文章どうしでしか比較に意味がありません。
ここから渡せます
重複行の削除
Duplicate Line Remover
重複した行を消すか、重複だけを残すか、各行が何回出てきたかを数えます。
文字数カウント
Word & Character Counter
空白を含む場合と含まない場合の文字数、単語数、行数、段落数、UTF-8バイト数を数えます。
読みやすさスコア
Readability Score
英文をFlesch–Kincaidなどの指標で採点し、韓国語と英語のどちらでも読むのにかかる時間を見積もります。
カカオトークのトーク分析
KakaoTalk Chat Analyser
カカオトークの書き出しファイル（PC・Android・iPhone・MacのCSV）を、人ごとの発言数と割合、時間帯と曜日のグラフ、曜日×時間のヒートマップ、返信までの中央値、絵文字とよく使う語にまとめます。
次の一手
このツールが出したものをそのまま受け取れる道具です。
かんたんグラフ作成
Quick Chart
表から棒・折れ線・面・円・散布図を描き、きりのよい目盛りと凡例を付けてSVGかPNGで書き出します。
カカオトークのトーク分析
KakaoTalk Chat Analyser
カカオトークの書き出しファイル（PC・Android・iPhone・MacのCSV）を、人ごとの発言数と割合、時間帯と曜日のグラフ、曜日×時間のヒートマップ、返信までの中央値、絵文字とよく使う語にまとめます。
文字数カウント
Word & Character Counter
空白を含む場合と含まない場合の文字数、単語数、行数、段落数、UTF-8バイト数を数えます。
ワードクラウド
Word Cloud
よく出た語を大きさで形やマスクの中に敷き詰めます（分かち書きとストップワードは韓国語向けです）。
CSVクリーニング
CSV Cleaner
セルの空白を落とし、見出しを揃え、数値と日付の書式を直し、列数の合わない行を報告します。
CSV結合（VLOOKUP）
CSV Join
キー列で2つの表を内部・左・右・外部結合し、相手のいない行も一覧します。