問題
公式の代わりに、平均二乗誤差 MSE = Σ(w × x + b - y)² / n に対するバッチ勾配降下法で直線 y = w × x + b を学習させます。
w = 0、b = 0 から始めます。各エポックで、すべての点を使って:
- errorᵢ = w × xᵢ + b - yᵢ
- dw = (2 / n) × Σ errorᵢ × xᵢ、db = (2 / n) × Σ errorᵢ
- w ← w - learning_rate × dw、b ← b - learning_rate × db(どちらも同じ誤差から計算します)
train_linear_regression(xs, ys, learning_rate, epochs) を実装してください。
入力
xs, ys: データ点(同じ長さ)。
learning_rate, epochs: ステップ幅と更新回数。
出力
学習後の [w, b] を返してください。
制約
1 ≤ データ点の数 ≤ 1,000、0 ≤ epochs ≤ 10,000
0 < learning_rate ≤ 1
-100 ≤ 各値 ≤ 100
例
入力:
xs = [1.0, 2.0]
ys = [2.0, 4.0]
learning_rate = 0.1
epochs = 1
期待される出力:
expected = [1.0, 0.6]
入力:
std::vector<double> xs = {1.0, 2.0};
std::vector<double> ys = {2.0, 4.0};
double learning_rate = 0.1;
long long epochs = 1;
期待される出力:
std::vector<double> expected = {1.0, 0.6};
入力:
double[] xs = new double[] {1.0, 2.0};
double[] ys = new double[] {2.0, 4.0};
double learning_rate = 0.1;
long epochs = 1;
期待される出力:
double[] expected = new double[] {1.0, 0.6};
解説
w = b = 0 のとき誤差は -2 と -4。dw = (2 / 2) × (-2×1 - 4×2) = -10、db = (2 / 2) × (-2 - 4) = -6 なので、w = 0 - 0.1 × (-10) = 1、b = 0 - 0.1 × (-6) = 0.6。結果:[1, 0.6]。
入力:
xs = [1.0, 2.0, 3.0]
ys = [3.0, 5.0, 7.0]
learning_rate = 0.05
epochs = 2000
期待される出力:
expected = [2.0, 1.0]
入力:
std::vector<double> xs = {1.0, 2.0, 3.0};
std::vector<double> ys = {3.0, 5.0, 7.0};
double learning_rate = 0.05;
long long epochs = 2000;
期待される出力:
std::vector<double> expected = {2.0, 1.0};
入力:
double[] xs = new double[] {1.0, 2.0, 3.0};
double[] ys = new double[] {3.0, 5.0, 7.0};
double learning_rate = 0.05;
long epochs = 2000;
期待される出力:
double[] expected = new double[] {2.0, 1.0};
解説
データは y = 2x + 1 の上にあります。2,000 エポック後、勾配降下法は w = 2、b = 1 に収束し、最小二乗法の公式と同じ答えになります。
解き方のヒント
まずは自分で考えてから、ヒントを 1 つずつ開いてみましょう。
ヒント 1
各エポックで全ての点を使い、現在の直線がどれだけ外れているかを測る。
ヒント 2
更新前に全サンプルの gradient をまとめてから、両方のパラメータを同時に更新する。
ヒント 3
片方のパラメータを先に更新しないこと。両方の更新は同じエポックの誤差を使う必要がある。
目安の計算量
時間 O(epochs × n)、追加メモリ O(1)
参考資料
この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。