Tất cả thử thách
Trung bình 0 đã giải Tỷ lệ chấp nhận 0%

Huấn luyện nơ-ron bằng hạ gradient

Lặp lại lan truyền xuôi, tính gradient và cập nhật trọng số để dạy một nơ-ron sigmoid từ các ví dụ.

Bạn sẽ học được gì

  • Lặp lan truyền xuôi, gradient và cập nhật
  • Điều chỉnh tốc độ học
  • Xem một nơ-ron học từ ví dụ

Đề bài

Xem bản gốc (English)

Hạ gradient cải thiện trọng số từng chút một bằng cách đi ngược hướng gradient:

w ← w - learning_rate × dL/dw

Hãy huấn luyện một nơ-ron sigmoid bằng hạ gradient ngẫu nhiên. Ở mỗi epoch, duyệt các mẫu theo đúng thứ tự đã cho, và với mỗi mẫu:

  1. z = sample · weights + bias, y = 1 / (1 + e^(-z))
  2. delta = 2 × (y - target) × y × (1 - y)
  3. weights[i] ← weights[i] - learning_rate × delta × sample[i] (với mọi i), sau đó bias ← bias - learning_rate × delta

Hãy cài đặt train_neuron(samples, targets, weights, bias, learning_rate, epochs).

Đầu vào

samples: m ví dụ huấn luyện, mỗi ví dụ có n giá trị.

targets: m đầu ra đúng (từ 0 đến 1).

weights, bias: Trọng số ban đầu (n giá trị) và bias.

learning_rate, epochs: Bước nhảy và số lượt duyệt qua dữ liệu.

Đầu ra

Trả về các trọng số sau khi huấn luyện, tiếp theo là bias sau khi huấn luyện (n + 1 số).

Ràng buộc

1 ≤ m ≤ 50, 1 ≤ n ≤ 10, 1 ≤ epochs ≤ 1.000

0 < learning_rate ≤ 5

-5 ≤ mỗi giá trị ≤ 5

Ví dụ

Ví dụ 1
Đầu vào:
samples = [
    [1.0]
]
targets = [1.0]
weights = [0.0]
bias = 0.0
learning_rate = 1.0
epochs = 1

Kết quả mong đợi:
expected = [0.25, 0.25]
Đầu vào:
std::vector<std::vector<double>> samples = {
    {1.0}
};
std::vector<double> targets = {1.0};
std::vector<double> weights = {0.0};
double bias = 0.0;
double learning_rate = 1.0;
long long epochs = 1;

Kết quả mong đợi:
std::vector<double> expected = {0.25, 0.25};
Đầu vào:
double[][] samples = new double[][] {
    new double[] {1.0}
};
double[] targets = new double[] {1.0};
double[] weights = new double[] {0.0};
double bias = 0.0;
double learning_rate = 1.0;
long epochs = 1;

Kết quả mong đợi:
double[] expected = new double[] {0.25, 0.25};

Giải thích

y = σ(0) = 0.5, delta = 2 × (0.5 - 1) × 0.25 = -0.25. Trọng số: 0 - 1 × (-0.25) × 1 = 0.25. Bias: 0 - 1 × (-0.25) = 0.25. Kết quả: [0.25, 0.25].

Ví dụ 2
Đầu vào:
samples = [
    [0.0, 0.0],
    [0.0, 1.0],
    [1.0, 0.0],
    [1.0, 1.0]
]
targets = [0.0, 0.0, 0.0, 1.0]
weights = [0.0, 0.0]
bias = 0.0
learning_rate = 2.0
epochs = 500

Kết quả mong đợi:
expected = [6.346558, 6.339863, -9.592092]
Đầu vào:
std::vector<std::vector<double>> samples = {
    {0.0, 0.0},
    {0.0, 1.0},
    {1.0, 0.0},
    {1.0, 1.0}
};
std::vector<double> targets = {0.0, 0.0, 0.0, 1.0};
std::vector<double> weights = {0.0, 0.0};
double bias = 0.0;
double learning_rate = 2.0;
long long epochs = 500;

Kết quả mong đợi:
std::vector<double> expected = {6.346558, 6.339863, -9.592092};
Đầu vào:
double[][] samples = new double[][] {
    new double[] {0.0, 0.0},
    new double[] {0.0, 1.0},
    new double[] {1.0, 0.0},
    new double[] {1.0, 1.0}
};
double[] targets = new double[] {0.0, 0.0, 0.0, 1.0};
double[] weights = new double[] {0.0, 0.0};
double bias = 0.0;
double learning_rate = 2.0;
long epochs = 500;

Kết quả mong đợi:
double[] expected = new double[] {6.346558, 6.339863, -9.592092};

Giải thích

Đây là cổng logic AND. Sau 500 epoch, cả hai trọng số đều lớn và dương, còn bias âm mạnh, nên chỉ đầu vào [1, 1] cho đầu ra lớn hơn 0.5.

Hướng tiếp cận

Hãy tự thử trước, sau đó mở từng gợi ý một.

Gợi ý 1

Xử lý các mẫu train theo thứ tự trong mỗi epoch, cập nhật weight ngay sau từng ví dụ.

Gợi ý 2

Với mỗi mẫu, tính output sigmoid rồi dùng gradient của nó để kéo weight và bias xuống dốc.

Gợi ý 3

Vì cập nhật là online, các mẫu sau trong cùng epoch sẽ thấy các cập nhật trước đó.

Độ phức tạp mong đợi

thời gian O(epochs × m × n), bộ nhớ phụ O(1)

Tham khảo

Thử thách này đã được điều chỉnh cho CodeUtility. Hãy làm theo đề bài và các ràng buộc ở trên.

Lời giải đạt tốt nhất của mỗi người. Lời giải nhanh hơn, tốn ít bộ nhớ hơn và được đánh giá cao hơn sẽ đứng trên.

Chưa có lời giải nào đạt. Giải bài này để giành hạng nhất.

Học hỏi từ người khác

Giải pháp cộng đồng

Chưa có giải pháp nào được chia sẻ. Hãy giải thử thách này để đăng giải pháp đầu tiên.