Várias técnicas em ML (Machine Learning) são
utilizadas. Todas possuem um melhor
tratamento de dados do que outra, dependendo
no que se está trabalhando. No caso da técnica
com modelos contextualizados de linguagem
baseados em tokens, temos uma que
implementa um algoritmo utilizado no
processamento de linguagem natural e na
recuperação de informações. Esta técnica
combina a frequência de uma determinada
palavra em um texto com a frequência inversa
da mesma palavra em outros documentos. Essa
técnica é conhecida por: