Todos os desafios
Fácil 0 resolvidos 0% de aceitação

Tokenizador de palavras e vocabulário

Divida um texto em palavras minúsculas e construa um vocabulário ordenado por frequência, o primeiro passo de todo modelo de linguagem.

O que você vai aprender

  • Dividir o texto em tokens de palavras minúsculas
  • Contar a frequência das palavras
  • Ordenar um vocabulário por frequência e depois alfabeticamente

Problema

Ver original (inglês)

Modelos de linguagem trabalham com tokens, não com texto bruto. Um tokenizador simples converte o texto para minúsculas e trata cada sequência de letras a-z e dígitos 0-9 como uma palavra; todo o resto (espaços, pontuação, outros caracteres) separa as palavras.

Construa o vocabulário: as palavras distintas ordenadas por frequência (a mais frequente primeiro), com empates resolvidos em ordem alfabética. A posição de uma palavra nessa lista é seu ID de token.

Implemente build_vocabulary(text).

Entrada

text: Qualquer texto.

Saída

Retorne o vocabulário como uma lista de palavras. Se o texto não tiver palavras, retorne uma lista vazia.

Restrições

0 ≤ comprimento de text ≤ 100.000

Exemplos

Exemplo 1
Entrada:
text = "The cat sat on the mat. The end!"

Saída esperada:
expected = ["the", "cat", "end", "mat", "on", "sat"]
Entrada:
std::string text = "The cat sat on the mat. The end!";

Saída esperada:
std::vector<std::string> expected = {"the", "cat", "end", "mat", "on", "sat"};
Entrada:
string text = "The cat sat on the mat. The end!";

Saída esperada:
string[] expected = new string[] {"the", "cat", "end", "mat", "on", "sat"};

Explicação

Em minúsculas, as palavras são the, cat, sat, on, the, mat, the, end. "the" aparece 3 vezes; as outras aparecem uma vez e são ordenadas alfabeticamente: ["the", "cat", "end", "mat", "on", "sat"].

Exemplo 2
Entrada:
text = "AI, ai and A.I. (2024)"

Saída esperada:
expected = ["ai", "2024", "a", "and", "i"]
Entrada:
std::string text = "AI, ai and A.I. (2024)";

Saída esperada:
std::vector<std::string> expected = {"ai", "2024", "a", "and", "i"};
Entrada:
string text = "AI, ai and A.I. (2024)";

Saída esperada:
string[] expected = new string[] {"ai", "2024", "a", "and", "i"};

Explicação

Palavras: ai, ai, and, a, i, 2024. "ai" aparece duas vezes; as outras uma vez, em ordem alfabética com dígitos antes das letras: ["ai", "2024", "a", "and", "i"].

Como abordar

Tente sozinho primeiro e depois abra uma dica de cada vez.

Dica 1

Primeiro extraia apenas sequências de letras e dígitos, em minúsculas, e ignore todo o resto dos caracteres.

Dica 2

Conte quantas vezes cada palavra aparece e depois ordene por frequência decrescente e alfabeticamente em caso de empate.

Dica 3

Se o texto não tiver palavras válidas, retorne uma lista vazia em vez de um único item ou null.

Complexidade esperada

tempo O(n log k), espaço extra O(k)

Referências

Este desafio foi adaptado para o CodeUtility. Siga o enunciado e as restrições acima.

A melhor solução aprovada de cada programador. As mais rápidas, leves e mais bem avaliadas ficam no topo.

Ainda não há soluções aprovadas. Resolva e fique com o primeiro lugar.

Aprenda com outros

Soluções da comunidade

Ainda não há soluções publicadas. Resolva este desafio para compartilhar a primeira.