Problema
Modelos de linguagem trabalham com tokens, não com texto bruto. Um tokenizador simples converte o texto para minúsculas e trata cada sequência de letras a-z e dígitos 0-9 como uma palavra; todo o resto (espaços, pontuação, outros caracteres) separa as palavras.
Construa o vocabulário: as palavras distintas ordenadas por frequência (a mais frequente primeiro), com empates resolvidos em ordem alfabética. A posição de uma palavra nessa lista é seu ID de token.
Implemente build_vocabulary(text).
Entrada
text: Qualquer texto.
Saída
Retorne o vocabulário como uma lista de palavras. Se o texto não tiver palavras, retorne uma lista vazia.
Restrições
0 ≤ comprimento de text ≤ 100.000
Exemplos
Entrada:
text = "The cat sat on the mat. The end!"
Saída esperada:
expected = ["the", "cat", "end", "mat", "on", "sat"]
Entrada:
std::string text = "The cat sat on the mat. The end!";
Saída esperada:
std::vector<std::string> expected = {"the", "cat", "end", "mat", "on", "sat"};
Entrada:
string text = "The cat sat on the mat. The end!";
Saída esperada:
string[] expected = new string[] {"the", "cat", "end", "mat", "on", "sat"};
Explicação
Em minúsculas, as palavras são the, cat, sat, on, the, mat, the, end. "the" aparece 3 vezes; as outras aparecem uma vez e são ordenadas alfabeticamente: ["the", "cat", "end", "mat", "on", "sat"].
Entrada:
text = "AI, ai and A.I. (2024)"
Saída esperada:
expected = ["ai", "2024", "a", "and", "i"]
Entrada:
std::string text = "AI, ai and A.I. (2024)";
Saída esperada:
std::vector<std::string> expected = {"ai", "2024", "a", "and", "i"};
Entrada:
string text = "AI, ai and A.I. (2024)";
Saída esperada:
string[] expected = new string[] {"ai", "2024", "a", "and", "i"};
Explicação
Palavras: ai, ai, and, a, i, 2024. "ai" aparece duas vezes; as outras uma vez, em ordem alfabética com dígitos antes das letras: ["ai", "2024", "a", "and", "i"].
Como abordar
Tente sozinho primeiro e depois abra uma dica de cada vez.
Dica 1
Primeiro extraia apenas sequências de letras e dígitos, em minúsculas, e ignore todo o resto dos caracteres.
Dica 2
Conte quantas vezes cada palavra aparece e depois ordene por frequência decrescente e alfabeticamente em caso de empate.
Dica 3
Se o texto não tiver palavras válidas, retorne uma lista vazia em vez de um único item ou null.
Complexidade esperada
tempo O(n log k), espaço extra O(k)
Referências
Este desafio foi adaptado para o CodeUtility. Siga o enunciado e as restrições acima.