Problem
Die Softmax-Funktion verwandelt eine Liste von Werten (Logits) in Wahrscheinlichkeiten. Sprachmodelle wählen damit das nächste Wort:
softmax(x)_i = e^(x_i) / (e^(x_1) + e^(x_2) + … + e^(x_n))
Große Werte lassen e^x überlaufen, also ziehe zuerst den größten Wert von jedem Wert ab. Das Ergebnis ist mathematisch dasselbe.
Implementiere softmax(logits).
Eingabe
logits: Eine Liste von Werten.
Ausgabe
Gib die Liste der Wahrscheinlichkeiten in derselben Reihenfolge zurück. Sie liegen alle zwischen 0 und 1 und ergeben zusammen 1.
Einschränkungen
1 ≤ Länge ≤ 1.000
-1.000 ≤ jeder Wert ≤ 1.000
Beispiele
Eingabe:
logits = [1.0, 2.0, 3.0]
Erwartete Ausgabe:
expected = [0.090031, 0.244728, 0.665241]
Eingabe:
std::vector<double> logits = {1.0, 2.0, 3.0};
Erwartete Ausgabe:
std::vector<double> expected = {0.090031, 0.244728, 0.665241};
Eingabe:
double[] logits = new double[] {1.0, 2.0, 3.0};
Erwartete Ausgabe:
double[] expected = new double[] {0.090031, 0.244728, 0.665241};
Erläuterung
e¹ ≈ 2.718, e² ≈ 7.389 und e³ ≈ 20.086 ergeben zusammen 30.193, also sind die Wahrscheinlichkeiten etwa [0.090031, 0.244728, 0.665241].
Eingabe:
logits = [1000.0, 1000.0]
Erwartete Ausgabe:
expected = [0.5, 0.5]
Eingabe:
std::vector<double> logits = {1000.0, 1000.0};
Erwartete Ausgabe:
std::vector<double> expected = {0.5, 0.5};
Eingabe:
double[] logits = new double[] {1000.0, 1000.0};
Erwartete Ausgabe:
double[] expected = new double[] {0.5, 0.5};
Erläuterung
Direkt e^1000 zu berechnen läuft über. Nach Abzug des Maximums erhält man [0, 0], und e⁰ / (e⁰ + e⁰) = 0.5 für beide.
So gehst du vor
Versuch es zuerst allein und öffne dann einen Hinweis nach dem anderen.
Hinweis 1
Ziehe den größten Logit vor dem Exponenzieren ab, damit der größte transformierte Score null wird und Overflow vermieden wird.
Hinweis 2
Berechne jedes Exponential, summiere sie einmal und teile dann jedes Exponential durch diese Summe, um Wahrscheinlichkeiten zu erhalten.
Hinweis 3
Achte darauf, dass die Rückgabewerte in derselben Reihenfolge wie der Input bleiben und nach der Normalisierung trotzdem zusammen eins ergeben.
Erwartete Komplexität
Zeit O(n), zusätzlicher Speicher O(n)
Referenzen
Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.