Alle Herausforderungen
Mittel 0 gelöst 0% Erfolgsquote

Sinusoidal Positional Encoding

Compute the sine and cosine position vectors Transformers add to token embeddings.

Das lernst du

  • Compute sine and cosine position vectors
  • Use different frequencies per dimension
  • Understand how Transformers know word order

Problem

Übersetzung anzeigen

Attention ignores word order, so the original Transformer adds a positional encoding to each token embedding. For position pos and dimension j (both starting at 0) in a model of size d_model:

  • even j: PE[pos][j] = sin(pos / 10000^(j / d_model))
  • odd j: PE[pos][j] = cos(pos / 10000^((j - 1) / d_model))

So dimensions 0 and 1 share one frequency, dimensions 2 and 3 the next, and so on.

Implement positional_encoding(length, d_model).

Input

length: The number of positions (0 to length - 1).

d_model: The embedding size.

Output

Return a length × d_model matrix.

Einschränkungen

1 ≤ length ≤ 200, 1 ≤ d_model ≤ 128

Beispiele

Beispiel 1
Eingabe:
length = 2
d_model = 4

Erwartete Ausgabe:
expected = [
    [0.0, 1.0, 0.0, 1.0],
    [0.841471, 0.540302, 0.01, 0.99995]
]
Eingabe:
long long length = 2;
long long d_model = 4;

Erwartete Ausgabe:
std::vector<std::vector<double>> expected = {
    {0.0, 1.0, 0.0, 1.0},
    {0.841471, 0.540302, 0.01, 0.99995}
};
Eingabe:
long length = 2;
long d_model = 4;

Erwartete Ausgabe:
double[][] expected = new double[][] {
    new double[] {0.0, 1.0, 0.0, 1.0},
    new double[] {0.841471, 0.540302, 0.01, 0.99995}
};

Erläuterung

Position 0 is sin(0) = 0 and cos(0) = 1 for every pair: [0, 1, 0, 1]. Position 1 uses frequencies 1 and 1 / 10000^(2/4) = 0.01: [sin 1, cos 1, sin 0.01, cos 0.01] ≈ [0.841471, 0.540302, 0.01, 0.99995].

Beispiel 2
Eingabe:
length = 3
d_model = 1

Erwartete Ausgabe:
expected = [
    [0.0],
    [0.841471],
    [0.909297]
]
Eingabe:
long long length = 3;
long long d_model = 1;

Erwartete Ausgabe:
std::vector<std::vector<double>> expected = {
    {0.0},
    {0.841471},
    {0.909297}
};
Eingabe:
long length = 3;
long d_model = 1;

Erwartete Ausgabe:
double[][] expected = new double[][] {
    new double[] {0.0},
    new double[] {0.841471},
    new double[] {0.909297}
};

Erläuterung

With one dimension only sin(pos) is used: [[0], [0.841471], [0.909297]].

So gehst du vor

Versuch es zuerst allein und öffne dann einen Hinweis nach dem anderen.

Hinweis 1

Each column belongs to a frequency pair, with even and odd dimensions using sine and cosine of the same angle.

Hinweis 2

Build the matrix by iterating positions and dimensions, computing the angle from the position and the dimension pair.

Hinweis 3

Be careful with integer division and zero-based indexing so the first row at position 0 becomes the expected starting pattern.

Erwartete Komplexität

O(length * d_model) time, O(length * d_model) extra space

Referenzen

Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.

Die beste bestandene Lösung jedes Coders. Schnellere, sparsamere und besser bewertete Lösungen stehen weiter oben.

Noch keine bestandene Lösung. Löse sie und hol dir Platz eins.

Von anderen lernen

Community-Lösungen

Noch keine veröffentlichten Lösungen. Löse die Aufgabe und teile als Erster eine Lösung.