Alle Herausforderungen
Einfach 0 gelöst 0% Erfolgsquote

Word Tokenizer and Vocabulary

Split text into lowercase words and build a vocabulary sorted by frequency, the first step of any language model.

Das lernst du

  • Split text into lowercase word tokens
  • Count word frequencies
  • Sort a vocabulary by frequency, then alphabetically

Problem

Übersetzung anzeigen

Language models work with tokens, not raw text. A simple tokenizer lowercases the text and treats every run of letters a-z and digits 0-9 as a word; everything else (spaces, punctuation, other characters) separates words.

Build the vocabulary: the distinct words, sorted by how often they appear (most frequent first), with ties broken alphabetically. A word's position in this list is its token ID.

Implement build_vocabulary(text).

Input

text: Any text.

Output

Return the vocabulary as a list of words. Return an empty list if the text has no words.

Einschränkungen

0 ≤ length of text ≤ 100,000

Beispiele

Beispiel 1
Eingabe:
text = "The cat sat on the mat. The end!"

Erwartete Ausgabe:
expected = ["the", "cat", "end", "mat", "on", "sat"]
Eingabe:
std::string text = "The cat sat on the mat. The end!";

Erwartete Ausgabe:
std::vector<std::string> expected = {"the", "cat", "end", "mat", "on", "sat"};
Eingabe:
string text = "The cat sat on the mat. The end!";

Erwartete Ausgabe:
string[] expected = new string[] {"the", "cat", "end", "mat", "on", "sat"};

Erläuterung

Lowercased, the words are the, cat, sat, on, the, mat, the, end. "the" appears 3 times; the rest appear once and are sorted alphabetically: ["the", "cat", "end", "mat", "on", "sat"].

Beispiel 2
Eingabe:
text = "AI, ai and A.I. (2024)"

Erwartete Ausgabe:
expected = ["ai", "2024", "a", "and", "i"]
Eingabe:
std::string text = "AI, ai and A.I. (2024)";

Erwartete Ausgabe:
std::vector<std::string> expected = {"ai", "2024", "a", "and", "i"};
Eingabe:
string text = "AI, ai and A.I. (2024)";

Erwartete Ausgabe:
string[] expected = new string[] {"ai", "2024", "a", "and", "i"};

Erläuterung

Words: ai, ai, and, a, i, 2024. "ai" appears twice; the others once, sorted alphabetically with digits before letters: ["ai", "2024", "a", "and", "i"].

So gehst du vor

Versuch es zuerst allein und öffne dann einen Hinweis nach dem anderen.

Hinweis 1

First extract only runs of letters and digits, lowercased, and ignore every other character.

Hinweis 2

Count how often each word appears, then sort by frequency descending and alphabetically for ties.

Hinweis 3

If the text contains no valid words, return an empty list instead of a singleton or null result.

Erwartete Komplexität

O(n log k) time, O(k) extra space

Referenzen

Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.

Die beste bestandene Lösung jedes Coders. Schnellere, sparsamere und besser bewertete Lösungen stehen weiter oben.

Noch keine bestandene Lösung. Löse sie und hol dir Platz eins.

Von anderen lernen

Community-Lösungen

Noch keine veröffentlichten Lösungen. Löse die Aufgabe und teile als Erster eine Lösung.