O Processamento de Linguagem Natural (PLN) é uma subárea da
inteligência artificial focada em permitir que máquinas
compreendam, interpretem, gerem e respondam à linguagem
humana de maneira natural e significativa. O objetivo do PLN é
fazer com que sistemas computacionais realizem tarefas que
envolvem a linguagem humana, como leitura, escrita e
interpretação de forma semelhante à forma como os humanos
processam o idioma.
Em Processamento de Linguagem Natural (PLN), a tokenização