本文共 581 字，大约阅读时间需要 1 分钟。

1.激活函数

（1）阶跃型激活函数：

 （2）sigmod型激活函数：

 2.损失函数 softmax loss：①softmax②cross-entroy loss 组合而成的损失函数

用来评测模型预测值f(x)与真实值y的相似程度，损失函数越小，模型鲁棒性越好，损失函数指导模型学习。根据损失函数来做反向传播修改模型参数。机器学习的目的是学习一组参数，使预测值与真值无限接近。

(1)softmax 

z：某个神经网络全连接层输出的一组结果，例如分类问题，做4分类，z为1*4向量

j：0~3下标号

zk：全连接层第k个值

全连接输出的向量z值无大小限制，（1）将其限制为0-1之间，变为概率值

（2）cross-entroy loss 交叉熵损失函数 （交叉熵：作为损失函数好处，使用sigmod函数在梯度下降时避免均方误差损失函数学习速率降低问题）

即为即为softmax函数输出值

yc为样本真值

与真值越接近，损失函数越小，与真值相对越远，损失函数越大

优化过程：不断提升与真值接近概率，降低损失函数

（3）交叉熵做损失函数

①信息量

②信息熵

③相对熵（KL散度）

同一个随机变量x又两个单独概率分布p(x),q(x)

可使用kl散度来衡量两个概率分布之间差异

④交叉熵

判定实际输出分布于期望输出分布接近程度：最小化交叉熵

⑤均方误差损失函数（MSE）

转载地址：https://blog.csdn.net/Jessicaxu123/article/details/130184306 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！