Alle Herausforderungen
Einfach 0 gelöst 0% Erfolgsquote

Wort-Tokenizer und Vokabular

Zerlege Text in kleingeschriebene Wörter und baue ein nach Häufigkeit sortiertes Vokabular, der erste Schritt jedes Sprachmodells.

Das lernst du

  • Text in kleingeschriebene Wort-Tokens zerlegen
  • Worthäufigkeiten zählen
  • Ein Vokabular nach Häufigkeit, dann alphabetisch sortieren

Problem

Sprachmodelle arbeiten mit Tokens, nicht mit Rohtext. Ein einfacher Tokenizer schreibt den Text klein und behandelt jede Folge von Buchstaben a-z und Ziffern 0-9 als Wort; alles andere (Leerzeichen, Satzzeichen, andere Zeichen) trennt Wörter.

Baue das Vokabular: die verschiedenen Wörter, sortiert nach Häufigkeit (häufigste zuerst), bei Gleichstand alphabetisch. Die Position eines Worts in dieser Liste ist seine Token-ID.

Implementiere build_vocabulary(text).

Eingabe

text: Ein beliebiger Text.

Ausgabe

Gib das Vokabular als Liste von Wörtern zurück. Enthält der Text keine Wörter, gib eine leere Liste zurück.

Einschränkungen

0 ≤ Länge von text ≤ 100.000

Beispiele

Beispiel 1
Eingabe:
text = "The cat sat on the mat. The end!"

Erwartete Ausgabe:
expected = ["the", "cat", "end", "mat", "on", "sat"]
Eingabe:
std::string text = "The cat sat on the mat. The end!";

Erwartete Ausgabe:
std::vector<std::string> expected = {"the", "cat", "end", "mat", "on", "sat"};
Eingabe:
string text = "The cat sat on the mat. The end!";

Erwartete Ausgabe:
string[] expected = new string[] {"the", "cat", "end", "mat", "on", "sat"};

Erläuterung

Kleingeschrieben sind die Wörter the, cat, sat, on, the, mat, the, end. "the" kommt 3-mal vor; die anderen je einmal und werden alphabetisch sortiert: ["the", "cat", "end", "mat", "on", "sat"].

Beispiel 2
Eingabe:
text = "AI, ai and A.I. (2024)"

Erwartete Ausgabe:
expected = ["ai", "2024", "a", "and", "i"]
Eingabe:
std::string text = "AI, ai and A.I. (2024)";

Erwartete Ausgabe:
std::vector<std::string> expected = {"ai", "2024", "a", "and", "i"};
Eingabe:
string text = "AI, ai and A.I. (2024)";

Erwartete Ausgabe:
string[] expected = new string[] {"ai", "2024", "a", "and", "i"};

Erläuterung

Wörter: ai, ai, and, a, i, 2024. "ai" kommt zweimal vor; die anderen je einmal, alphabetisch sortiert mit Ziffern vor Buchstaben: ["ai", "2024", "a", "and", "i"].

So gehst du vor

Versuch es zuerst allein und öffne dann einen Hinweis nach dem anderen.

Hinweis 1

Extrahiere zuerst nur Folgen aus Buchstaben und Ziffern, kleingeschrieben, und ignoriere jedes andere Zeichen.

Hinweis 2

Zähle, wie oft jedes Wort vorkommt, und sortiere dann nach Häufigkeit absteigend und bei Gleichstand alphabetisch.

Hinweis 3

Wenn der Text keine gültigen Wörter enthält, gib eine leere Liste zurück statt eines Singleton- oder null-Ergebnisses.

Erwartete Komplexität

Zeit O(n log k), zusätzlicher Speicher O(k)

Referenzen

Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.

Die beste bestandene Lösung jedes Coders. Schnellere, sparsamere und besser bewertete Lösungen stehen weiter oben.

Noch keine bestandene Lösung. Löse sie und hol dir Platz eins.

Von anderen lernen

Community-Lösungen

Noch keine veröffentlichten Lösungen. Löse die Aufgabe und teile als Erster eine Lösung.