Alle Herausforderungen
Mittel 1 gelöst 20.0% Erfolgsquote

Layer-Normalisierung

Normalisiere jede Zeile auf Mittelwert 0 und Varianz 1, dann skaliere und verschiebe sie, wie es jeder Transformer-Block tut.

Das lernst du

  • Jede Zeile auf Mittelwert 0 und Varianz 1 normalisieren
  • Mit gamma und beta skalieren und verschieben
  • Verstehen, warum epsilon nötig ist

Problem

Die Layer-Normalisierung hält die Aktivierungen jedes Tokens auf einer stabilen Skala. Für jede Zeile x der Matrix:

  1. mean = Σ x / d und var = Σ (x - mean)² / d (Populationsvarianz über die d Werte der Zeile)
  2. x̂ = (x - mean) / √(var + epsilon)
  3. Ausgabe = gamma × x̂ + beta (elementweise: Spalte j verwendet gamma[j] und beta[j])

Implementiere layer_norm(x, gamma, beta, epsilon).

Eingabe

x: Eine Matrix mit einer Zeile pro Token und d Spalten.

gamma, beta: Die gelernte Skalierung und Verschiebung, je d Werte.

epsilon: Eine kleine Zahl, die eine Division durch null verhindert.

Ausgabe

Gib die normalisierte Matrix zurück, mit derselben Form wie x.

Einschränkungen

1 ≤ Zeilen ≤ 100, 1 ≤ d ≤ 128

-100 ≤ jeder Wert ≤ 100, 0 < epsilon ≤ 0.001

Beispiele

Beispiel 1
Eingabe:
x = [
    [1.0, 2.0, 3.0]
]
gamma = [1.0, 1.0, 1.0]
beta = [0.0, 0.0, 0.0]
epsilon = 1.0e-05

Erwartete Ausgabe:
expected = [
    [-1.224736, 0.0, 1.224736]
]
Eingabe:
std::vector<std::vector<double>> x = {
    {1.0, 2.0, 3.0}
};
std::vector<double> gamma = {1.0, 1.0, 1.0};
std::vector<double> beta = {0.0, 0.0, 0.0};
double epsilon = 1.0e-05;

Erwartete Ausgabe:
std::vector<std::vector<double>> expected = {
    {-1.224736, 0.0, 1.224736}
};
Eingabe:
double[][] x = new double[][] {
    new double[] {1.0, 2.0, 3.0}
};
double[] gamma = new double[] {1.0, 1.0, 1.0};
double[] beta = new double[] {0.0, 0.0, 0.0};
double epsilon = 1.0e-05;

Erwartete Ausgabe:
double[][] expected = new double[][] {
    new double[] {-1.224736, 0.0, 1.224736}
};

Erläuterung

mean = 2 und var = (1 + 0 + 1) / 3 ≈ 0.666667, also √(var + epsilon) ≈ 0.816503. Die Zeile wird zu etwa [-1.224736, 0, 1.224736]: zentriert bei 0 mit Varianz 1.

Beispiel 2
Eingabe:
x = [
    [5.0, 5.0]
]
gamma = [2.0, 3.0]
beta = [1.0, -1.0]
epsilon = 1.0e-05

Erwartete Ausgabe:
expected = [
    [1.0, -1.0]
]
Eingabe:
std::vector<std::vector<double>> x = {
    {5.0, 5.0}
};
std::vector<double> gamma = {2.0, 3.0};
std::vector<double> beta = {1.0, -1.0};
double epsilon = 1.0e-05;

Erwartete Ausgabe:
std::vector<std::vector<double>> expected = {
    {1.0, -1.0}
};
Eingabe:
double[][] x = new double[][] {
    new double[] {5.0, 5.0}
};
double[] gamma = new double[] {2.0, 3.0};
double[] beta = new double[] {1.0, -1.0};
double epsilon = 1.0e-05;

Erwartete Ausgabe:
double[][] expected = new double[][] {
    new double[] {1.0, -1.0}
};

Erläuterung

Beide Werte entsprechen dem Mittelwert, also x̂ = [0, 0] und die Ausgabe ist einfach beta: [1, -1]. Epsilon verhindert die Division durch null.

So gehst du vor

Versuch es zuerst allein und öffne dann einen Hinweis nach dem anderen.

Hinweis 1

Normalisiere jede Zeile unabhängig mit ihrem eigenen Mittelwert und ihrer eigenen Varianz, nicht mit Statistiken über die ganze Matrix.

Hinweis 2

Wende nach dem Standardisieren einer Zeile die gelernte Skalierung und Verschiebung elementweise mit gamma und beta an.

Hinweis 3

Verwende die Populationsvarianz und addiere epsilon vor der Wurzel, um Division durch null bei konstanten Zeilen zu vermeiden.

Erwartete Komplexität

Zeit O(rows * d), zusätzlicher Speicher O(1)

Referenzen

Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.

Die beste bestandene Lösung jedes Coders. Schnellere, sparsamere und besser bewertete Lösungen stehen weiter oben.

# Coder Sprache Zeit Speicher KI-Bewertung Lösung
1 ННикита Python 809 ms - 5/5 Code ansehen

Von anderen lernen

Community-Lösungen

Achtung Spoiler: 1 vollständige Lösung unten Versuche es zuerst selbst zu lösen. Du kannst trotzdem einen Blick auf den Code und die KI-Reviews anderer Entwickler werfen. Melde dich an und löse die Aufgabe, um an der Diskussion teilzunehmen.