問題
多クラス分類器はクラスごとに確率を出力します(たとえばソフトマックスから)。カテゴリカル交差エントロピーは、正解クラスに低い確率を与えたときにペナルティを与えます。
loss = -(ln(p₁) + ln(p₂) + … + ln(pₙ)) / n
ここで pᵢ は、サンプル i の正解クラスにモデルが与えた確率です。ln(0) を避けるため、まず 0.0000001 未満の確率は 0.0000001 に引き上げてください。
categorical_cross_entropy(probabilities, labels) を実装してください。
入力
probabilities: サンプルごとに1行、クラスごとに1つの確率。
labels: 各サンプルの正解クラスのインデックス(0 から始まる)。
出力
平均損失を小数で返してください。
制約
1 ≤ サンプル数 ≤ 1,000、2 ≤ クラス数 ≤ 100
0 ≤ 各確率 ≤ 1
0 ≤ labels[i] < クラス数
例
入力:
probabilities = [
[0.7, 0.2, 0.1],
[0.1, 0.8, 0.1]
]
labels = [0, 1]
期待される出力:
expected = 0.289909
入力:
std::vector<std::vector<double>> probabilities = {
{0.7, 0.2, 0.1},
{0.1, 0.8, 0.1}
};
std::vector<long long> labels = {0, 1};
期待される出力:
double expected = 0.289909;
入力:
double[][] probabilities = new double[][] {
new double[] {0.7, 0.2, 0.1},
new double[] {0.1, 0.8, 0.1}
};
long[] labels = new long[] {0, 1};
期待される出力:
double expected = 0.289909;
解説
正解クラスの確率は 0.7 と 0.8 です:-(ln(0.7) + ln(0.8)) / 2 = -(-0.356675 - 0.223144) / 2 ≈ 0.289909。
入力:
probabilities = [
[1.0, 0.0]
]
labels = [1]
期待される出力:
expected = 16.118096
入力:
std::vector<std::vector<double>> probabilities = {
{1.0, 0.0}
};
std::vector<long long> labels = {1};
期待される出力:
double expected = 16.118096;
入力:
double[][] probabilities = new double[][] {
new double[] {1.0, 0.0}
};
long[] labels = new long[] {1};
期待される出力:
double expected = 16.118096;
解説
正解クラスの確率は 0 で、0.0000001 に引き上げられるので、損失は -ln(0.0000001) ≈ 16.118096 です。自信満々の誤答には大きなペナルティがかかります。
解き方のヒント
まずは自分で考えてから、ヒントを 1 つずつ開いてみましょう。
ヒント 1
各サンプルの正解クラスに割り当てられた確率を取り出し、その値の負の log を平均する。
ヒント 2
log を取る前に非常に小さい確率は下限で丸め、未定義を避ける。
ヒント 3
各行で使うのはラベル付きのクラスだけなので、loss を計算する際は他のクラス確率は無視する。
目安の計算量
時間 O(samples)、追加メモリ O(1)
参考資料
この課題はCodeUtility用に調整されています。上記の説明と制約に従ってください。