Uma organização decidiu monitorar a opinião do público
sobre ela nas redes sociais. Para isso, processou as mensagens com referências ao seu nome, a fim de possibilitar
o uso de uma técnica de processamento de linguagem
natural conhecida como análise de sentimentos.
Após transformar cada mensagem em uma string, um dos
passos importantes nessa técnica é a tokenização, que
consiste em