防止模型过拟合的标签平滑技术

1.softmax交叉熵损失的数学公式 设存在一个三分类问题,样本经模型最后的FC层的输出向量(即logits)为 则3个类别的预测概率依次为 假设样本的概率分布为 此时,交叉熵损失函数为 2.softmax交叉熵损失的计算实例 import numpy as np def softmax(x): exp_x = np.exp(x) softmax_x = exp_x / np.sum(exp_x) return softmax_x def loss(y, y_pred): return np.sum(-y*np.log(y_pred)) y = np.