Pular para o conteúdo

Frequência de palavras

Word Frequency

Conta quantas vezes cada palavra ou n-grama aparece, com tokenização ciente do coreano e uma lista de stopwords.

Conta quantas vezes cada palavra, caractere ou n-grama aparece, com a tokenização do coreano declarada em vez de presumida. Os espaços do coreano separam 어절 — um radical com as partículas grudadas — e não palavras, então 서울에서 e 서울은 contam como dois tokens diferentes, a menos que você peça outra coisa. As listas de stopwords são de inglês e de coreano; para o português não há nenhuma.

🔒 Roda inteiramente no seu navegadorfrequencystatsnlpkorean

Texto

A contagem é uma passada só pelo texto e roda 200 ms depois que você para de digitar.

Como contar

Com 2 conta pares de palavras vizinhas.

23 termos distintos

tokens contados

28

distintos

23

usados uma vez

19

hapax legomena

razão tipo-token

0,821

cai conforme o texto se alonga

  1. 1a310,7%
  2. 2o27,1%
  3. 3reunião27,1%
  4. 4seul27,1%
  5. 5복잡합니다13,6%
  6. 6서울의13,6%
  7. 7시간에는13,6%
  8. 8지하철은13,6%
  9. 9출퇴근13,6%
  10. 10편리하지만13,6%
  11. 11aceitou13,6%
  12. 12bem13,6%
  13. 13e13,6%
  14. 14é13,6%
  15. 15em13,6%
  16. 16estendeu13,6%
  17. 17foi13,6%
  18. 18hora13,6%
  19. 19movimentada13,6%
  20. 20plano13,6%
  21. 21qualquer13,6%
  22. 22se13,6%
  23. 23time13,6%

Como usar

  1. Escolha o token

    Palavras conforme os espaços é a leitura honesta do texto. Com partículas aparadas, 서울 conta como uma palavra só. Caracteres e n-gramas são para olhar a forma do texto, e não o vocabulário.

  2. Descarte as palavras comuns se elas lotarem o topo

    Listas de stopwords de inglês e de coreano, separadas ou juntas. Sem elas, o topo de qualquer lista é the, and, 그리고 e 하지만. Para um texto em português não há lista, então “de”, “a” e “que” vão ficar no topo.

  3. Defina o comprimento da frase para os n-gramas

    2 conta pares de palavras adjacentes, que é como se encontram as expressões que um documento de fato repete, e não as palavras que por acaso usa.

Perguntas frequentes

Por que 서울에서 e 서울은 contam separadamente?

Porque são 어절 diferentes, e por padrão a ferramenta conta o que está de fato no texto. “Partículas aparadas” tira um 은/는/이/가/을/를/에서/으로 final quando restam pelo menos duas sílabas, o que os torna um.

O aparo de partículas é confiável?

É uma heurística, não um analisador morfológico. Vez ou outra vai aparar um substantivo que de fato termina numa dessas sílabas, e não faz nada com a conjugação verbal — 갑니다, 갔다 e 가서 ficam separados.

Para que serve a razão tipo-token?

Palavras distintas divididas pelo total de palavras — uma medida grosseira da variedade do vocabulário. Cai conforme o texto se alonga, então só compara com sentido textos de comprimento parecido.

Pode receber de

Em seguida

Estas aceitam o que esta ferramenta produz, então o resultado pode ir direto.