Alle Herausforderungen
Einfach 0 gelöst 0% Erfolgsquote

Derivatives of Activation Functions

Compute the derivative of sigmoid, ReLU, Leaky ReLU or tanh at each value, the slopes backpropagation needs.

Das lernst du

  • Compute slopes of common activations
  • Reuse the sigmoid output for its derivative
  • Prepare the pieces backpropagation needs

Problem

Übersetzung anzeigen

Backpropagation multiplies gradients by the derivative of each activation function. Implement activation_derivative(name, values) and return the derivative at every value:

namederivative
"sigmoid"s × (1 - s), where s = 1 / (1 + e^(-x))
"relu"1 if x > 0, otherwise 0
"leaky_relu"1 if x > 0, otherwise 0.01
"tanh"1 - tanh(x)²

Input

name: One of "sigmoid", "relu", "leaky_relu" or "tanh".

values: The inputs x of the activation.

Output

Return the derivative at each value, in the same order.

Einschränkungen

1 ≤ length ≤ 1,000

-50 ≤ each value ≤ 50

Beispiele

Beispiel 1
Eingabe:
name = "sigmoid"
values = [0.0, 2.0]

Erwartete Ausgabe:
expected = [0.25, 0.104994]
Eingabe:
std::string name = "sigmoid";
std::vector<double> values = {0.0, 2.0};

Erwartete Ausgabe:
std::vector<double> expected = {0.25, 0.104994};
Eingabe:
string name = "sigmoid";
double[] values = new double[] {0.0, 2.0};

Erwartete Ausgabe:
double[] expected = new double[] {0.25, 0.104994};

Erläuterung

At 0, s = 0.5 and the slope is 0.5 × 0.5 = 0.25, the steepest point of the sigmoid. At 2, s ≈ 0.880797 and the slope is about 0.104994.

Beispiel 2
Eingabe:
name = "relu"
values = [-3.0, 0.0, 4.5]

Erwartete Ausgabe:
expected = [0.0, 0.0, 1.0]
Eingabe:
std::string name = "relu";
std::vector<double> values = {-3.0, 0.0, 4.5};

Erwartete Ausgabe:
std::vector<double> expected = {0.0, 0.0, 1.0};
Eingabe:
string name = "relu";
double[] values = new double[] {-3.0, 0.0, 4.5};

Erwartete Ausgabe:
double[] expected = new double[] {0.0, 0.0, 1.0};

Erläuterung

ReLU is flat for x ≤ 0 (slope 0) and has slope 1 for x > 0, so the result is [0, 0, 1].

So gehst du vor

Versuch es zuerst allein und öffne dann einen Hinweis nach dem anderen.

Hinweis 1

The derivative depends on the activation type, so handle each function separately for every input value.

Hinweis 2

For sigmoid and tanh, reuse the activation output or its standard function value instead of recomputing from scratch in a complicated way.

Hinweis 3

Watch the sign thresholds: ReLU uses a strict positive test, while leaky ReLU keeps a small slope for nonpositive values.

Erwartete Komplexität

O(n) time, O(n) extra space

Referenzen

Diese Aufgabe wurde für CodeUtility angepasst. Beachte die oben genannten Vorgaben und Einschränkungen.

Die beste bestandene Lösung jedes Coders. Schnellere, sparsamere und besser bewertete Lösungen stehen weiter oben.

Noch keine bestandene Lösung. Löse sie und hol dir Platz eins.

Von anderen lernen

Community-Lösungen

Noch keine veröffentlichten Lösungen. Löse die Aufgabe und teile als Erster eine Lösung.