すべてのチャレンジ
中級 0件解決済み 正答率0%

勾配降下法による線形回帰

平均二乗誤差を繰り返し下っていき、直線の傾きと切片を学習します。

このチャレンジで学べること

  • 平均二乗誤差を少しずつ小さくする
  • 傾きと切片の勾配を計算する
  • 学習率が学習に与える影響を見る

問題

原文(英語)を表示

公式の代わりに、平均二乗誤差 MSE = Σ(w × x + b - y)² / n に対するバッチ勾配降下法で直線 y = w × x + b を学習させます。

w = 0、b = 0 から始めます。各エポックで、すべての点を使って:

  1. errorᵢ = w × xᵢ + b - yᵢ
  2. dw = (2 / n) × Σ errorᵢ × xᵢ、db = (2 / n) × Σ errorᵢ
  3. w ← w - learning_rate × dw、b ← b - learning_rate × db(どちらも同じ誤差から計算します)

train_linear_regression(xs, ys, learning_rate, epochs) を実装してください。

入力

xs, ys: データ点(同じ長さ)。

learning_rate, epochs: ステップ幅と更新回数。

出力

学習後の [w, b] を返してください。

制約

1 ≤ データ点の数 ≤ 1,000、0 ≤ epochs ≤ 10,000

0 < learning_rate ≤ 1

-100 ≤ 各値 ≤ 100

例

例 1
入力:
xs = [1.0, 2.0]
ys = [2.0, 4.0]
learning_rate = 0.1
epochs = 1

期待される出力:
expected = [1.0, 0.6]
入力:
std::vector<double> xs = {1.0, 2.0};
std::vector<double> ys = {2.0, 4.0};
double learning_rate = 0.1;
long long epochs = 1;

期待される出力:
std::vector<double> expected = {1.0, 0.6};
入力:
double[] xs = new double[] {1.0, 2.0};
double[] ys = new double[] {2.0, 4.0};
double learning_rate = 0.1;
long epochs = 1;

期待される出力:
double[] expected = new double[] {1.0, 0.6};

解説

w = b = 0 のとき誤差は -2 と -4。dw = (2 / 2) × (-2×1 - 4×2) = -10、db = (2 / 2) × (-2 - 4) = -6 なので、w = 0 - 0.1 × (-10) = 1、b = 0 - 0.1 × (-6) = 0.6。結果:[1, 0.6]。

例 2
入力:
xs = [1.0, 2.0, 3.0]
ys = [3.0, 5.0, 7.0]
learning_rate = 0.05
epochs = 2000

期待される出力:
expected = [2.0, 1.0]
入力:
std::vector<double> xs = {1.0, 2.0, 3.0};
std::vector<double> ys = {3.0, 5.0, 7.0};
double learning_rate = 0.05;
long long epochs = 2000;

期待される出力:
std::vector<double> expected = {2.0, 1.0};
入力:
double[] xs = new double[] {1.0, 2.0, 3.0};
double[] ys = new double[] {3.0, 5.0, 7.0};
double learning_rate = 0.05;
long epochs = 2000;

期待される出力:
double[] expected = new double[] {2.0, 1.0};

解説

データは y = 2x + 1 の上にあります。2,000 エポック後、勾配降下法は w = 2、b = 1 に収束し、最小二乗法の公式と同じ答えになります。

解き方のヒント

まずは自分で考えてから、ヒントを 1 つずつ開いてみましょう。

ヒント 1

各エポックで全ての点を使い、現在の直線がどれだけ外れているかを測る。

ヒント 2

更新前に全サンプルの gradient をまとめてから、両方のパラメータを同時に更新する。

ヒント 3

片方のパラメータを先に更新しないこと。両方の更新は同じエポックの誤差を使う必要がある。

目安の計算量

時間 O(epochs × n)、追加メモリ O(1)

参考資料

この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。

ランキング

全体ランキング

コーダーごとのいちばん良い合格解答です。速く、メモリが少なく、評価が高い解答ほど上位になります。

まだ合格した解答はありません。解いて 1 位になりましょう。

他の人の解答から学ぶ

コミュニティの解答

まだ公開された解答がありません。この課題を解いて最初の解答を共有しましょう。