すべてのチャレンジ
難しい 1件解決済み 正答率100.0%

スケールド・ドット積アテンション

Transformer と大規模言語モデルの中心にあるアテンションの計算を実装します。

このチャレンジで学べること

  • クエリとキーのスコアを計算する
  • ソフトマックスでアテンションの重みを得る
  • その重みで値を混ぜ合わせる

問題

原文(英語)を表示

アテンションは、系列の各位置が他のすべての位置を見て、その情報を混ぜ合わせる仕組みです。大規模言語モデルが使う Transformer アーキテクチャの中核です。

Attention(Q, K, V) = softmax(Q × Kᵀ / √d) × V

各クエリ行 q について:

  1. 各キー行 k のスコアを計算します:score = (q · k) / √d。d は K の列数です。
  2. ソフトマックスでスコアを重みに変換します(e^x を計算する前に最大スコアを引きます)。
  3. 出力行は、値の行の重み付き和です:Σ weight_j × values[j]。

attention(queries, keys, values) を実装してください。

入力

queries: n 行、各行 d 個の数。

keys: m 行、各行 d 個の数。

values: m 行(キーごとに1行)、各行 v 個の数。

出力

n × v の出力行列を返してください。

制約

1 ≤ n, m ≤ 50、1 ≤ d, v ≤ 32

-10 ≤ 各値 ≤ 10

例

例 1
入力:
queries = [
    [1.0, 0.0]
]
keys = [
    [1.0, 0.0],
    [1.0, 0.0]
]
values = [
    [2.0, 4.0],
    [6.0, 8.0]
]

期待される出力:
expected = [
    [4.0, 6.0]
]
入力:
std::vector<std::vector<double>> queries = {
    {1.0, 0.0}
};
std::vector<std::vector<double>> keys = {
    {1.0, 0.0},
    {1.0, 0.0}
};
std::vector<std::vector<double>> values = {
    {2.0, 4.0},
    {6.0, 8.0}
};

期待される出力:
std::vector<std::vector<double>> expected = {
    {4.0, 6.0}
};
入力:
double[][] queries = new double[][] {
    new double[] {1.0, 0.0}
};
double[][] keys = new double[][] {
    new double[] {1.0, 0.0},
    new double[] {1.0, 0.0}
};
double[][] values = new double[][] {
    new double[] {2.0, 4.0},
    new double[] {6.0, 8.0}
};

期待される出力:
double[][] expected = new double[][] {
    new double[] {4.0, 6.0}
};

解説

2つのキーは同じスコアなので、ソフトマックスの重みは 0.5 と 0.5 です。出力は値の行の平均で、[(2 + 6) / 2, (4 + 8) / 2] = [4, 6] です。

例 2
入力:
queries = [
    [0.0, 0.0]
]
keys = [
    [3.0, 1.0],
    [-2.0, 5.0],
    [7.0, 7.0]
]
values = [
    [1.0],
    [2.0],
    [6.0]
]

期待される出力:
expected = [
    [3.0]
]
入力:
std::vector<std::vector<double>> queries = {
    {0.0, 0.0}
};
std::vector<std::vector<double>> keys = {
    {3.0, 1.0},
    {-2.0, 5.0},
    {7.0, 7.0}
};
std::vector<std::vector<double>> values = {
    {1.0},
    {2.0},
    {6.0}
};

期待される出力:
std::vector<std::vector<double>> expected = {
    {3.0}
};
入力:
double[][] queries = new double[][] {
    new double[] {0.0, 0.0}
};
double[][] keys = new double[][] {
    new double[] {3.0, 1.0},
    new double[] {-2.0, 5.0},
    new double[] {7.0, 7.0}
};
double[][] values = new double[][] {
    new double[] {1.0},
    new double[] {2.0},
    new double[] {6.0}
};

期待される出力:
double[][] expected = new double[][] {
    new double[] {3.0}
};

解説

ゼロのクエリはどのキーに対してもスコアが 0 なので、アテンションは均等に分かれます:(1 + 2 + 6) / 3 = 3。

解き方のヒント

まずは自分で考えてから、ヒントを 1 つずつ開いてみましょう。

ヒント 1

各 query について、key の次元の平方根で割った dot product を使って全 key と比較する。

ヒント 2

スコアは数値的に安定な softmax で重みに変換し、その重みで value 行を混ぜる。

ヒント 3

query 1つにつき出力行も1つで、出力幅は query や key ではなく value ベクトルで決まる。

目安の計算量

時間 O(n m (d + v))、追加メモリ O(m)

参考資料

この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。

ランキング

全体ランキング

コーダーごとのいちばん良い合格解答です。速く、メモリが少なく、評価が高い解答ほど上位になります。

# コーダー 言語 時間 メモリ AI 評価 解答
1 ННикита Python 833 ms - 5/5 コードを見る

他の人の解答から学ぶ

コミュニティの解答

ネタバレ注意:下に1件の全解答あり まずは自分で挑戦してみましょう。他の開発者のコードやAIレビューも見ることができます。 サインインして課題を解くと議論に参加できます。