Para desenvolver uma aplicação de Processamento de Linguagem
Natural (PLN), é necessário realizar tarefas de pré-processamento
no corpus de entrada, como a separação do texto em palavras.
Observe a execução do seguinte fragmento de uma tarefa de
PLN:
Entrada: “Bia é uma forte candidata do concurso da CVM.”
Saída: quantidade de unidades linguísticas = 14
A tarefa de PLN que faz a separação do texto em unidades
linguísticas mínimas é a: