Tất cả thử thách
Trung bình 0 đã giải Tỷ lệ chấp nhận 0%

Train a Neuron with Gradient Descent

Repeat forward pass, gradients and weight updates to teach a sigmoid neuron from examples.

Bạn sẽ học được gì

  • Repeat forward pass, gradients and updates
  • Tune a learning rate
  • Watch a neuron learn from examples

Đề bài

Xem bản dịch

Gradient descent improves the weights a little at a time by moving against the gradient:

w ← w - learning_rate × dL/dw

Train a sigmoid neuron with stochastic gradient descent. For each epoch, go through the samples in the given order, and for each sample:

  1. z = sample · weights + bias, y = 1 / (1 + e^(-z))
  2. delta = 2 × (y - target) × y × (1 - y)
  3. weights[i] ← weights[i] - learning_rate × delta × sample[i] (for every i), then bias ← bias - learning_rate × delta

Implement train_neuron(samples, targets, weights, bias, learning_rate, epochs).

Input

samples: m training examples, each with n values.

targets: The m correct outputs (between 0 and 1).

weights, bias: The starting weights (n values) and bias.

learning_rate, epochs: The step size and how many passes over the data.

Output

Return the trained weights followed by the trained bias (n + 1 numbers).

Ràng buộc

1 ≤ m ≤ 50, 1 ≤ n ≤ 10, 1 ≤ epochs ≤ 1,000

0 < learning_rate ≤ 5

-5 ≤ each value ≤ 5

Ví dụ

Ví dụ 1
Đầu vào:
samples = [
    [1.0]
]
targets = [1.0]
weights = [0.0]
bias = 0.0
learning_rate = 1.0
epochs = 1

Kết quả mong đợi:
expected = [0.25, 0.25]
Đầu vào:
std::vector<std::vector<double>> samples = {
    {1.0}
};
std::vector<double> targets = {1.0};
std::vector<double> weights = {0.0};
double bias = 0.0;
double learning_rate = 1.0;
long long epochs = 1;

Kết quả mong đợi:
std::vector<double> expected = {0.25, 0.25};
Đầu vào:
double[][] samples = new double[][] {
    new double[] {1.0}
};
double[] targets = new double[] {1.0};
double[] weights = new double[] {0.0};
double bias = 0.0;
double learning_rate = 1.0;
long epochs = 1;

Kết quả mong đợi:
double[] expected = new double[] {0.25, 0.25};

Giải thích

y = σ(0) = 0.5, delta = 2 × (0.5 - 1) × 0.25 = -0.25. Weight: 0 - 1 × (-0.25) × 1 = 0.25. Bias: 0 - 1 × (-0.25) = 0.25. Result: [0.25, 0.25].

Ví dụ 2
Đầu vào:
samples = [
    [0.0, 0.0],
    [0.0, 1.0],
    [1.0, 0.0],
    [1.0, 1.0]
]
targets = [0.0, 0.0, 0.0, 1.0]
weights = [0.0, 0.0]
bias = 0.0
learning_rate = 2.0
epochs = 500

Kết quả mong đợi:
expected = [6.346558, 6.339863, -9.592092]
Đầu vào:
std::vector<std::vector<double>> samples = {
    {0.0, 0.0},
    {0.0, 1.0},
    {1.0, 0.0},
    {1.0, 1.0}
};
std::vector<double> targets = {0.0, 0.0, 0.0, 1.0};
std::vector<double> weights = {0.0, 0.0};
double bias = 0.0;
double learning_rate = 2.0;
long long epochs = 500;

Kết quả mong đợi:
std::vector<double> expected = {6.346558, 6.339863, -9.592092};
Đầu vào:
double[][] samples = new double[][] {
    new double[] {0.0, 0.0},
    new double[] {0.0, 1.0},
    new double[] {1.0, 0.0},
    new double[] {1.0, 1.0}
};
double[] targets = new double[] {0.0, 0.0, 0.0, 1.0};
double[] weights = new double[] {0.0, 0.0};
double bias = 0.0;
double learning_rate = 2.0;
long epochs = 500;

Kết quả mong đợi:
double[] expected = new double[] {6.346558, 6.339863, -9.592092};

Giải thích

This is the logical AND gate. After 500 epochs both weights are large and positive and the bias is strongly negative, so only the input [1, 1] gives an output above 0.5.

Hướng tiếp cận

Hãy tự thử trước, sau đó mở từng gợi ý một.

Gợi ý 1

Process the training samples in order for each epoch, updating weights immediately after each example.

Gợi ý 2

For each sample, compute the sigmoid output, then use its gradient to move weights and bias downhill.

Gợi ý 3

Because updates are online, later samples in the same epoch see earlier updates.

Độ phức tạp mong đợi

O(epochs × m × n) time, O(1) extra space

Tham khảo

Thử thách này đã được điều chỉnh cho CodeUtility. Hãy làm theo đề bài và các ràng buộc ở trên.

Lời giải đạt tốt nhất của mỗi người. Lời giải nhanh hơn, tốn ít bộ nhớ hơn và được đánh giá cao hơn sẽ đứng trên.

Chưa có lời giải nào đạt. Giải bài này để giành hạng nhất.

Học hỏi từ người khác

Giải pháp cộng đồng

Chưa có giải pháp nào được chia sẻ. Hãy giải thử thách này để đăng giải pháp đầu tiên.