tensorflow2.0中损失函数的选择及使用
发布日期:2021-05-06 23:42:59 浏览次数:31 分类:精选文章

本文共 889 字,大约阅读时间需要 2 分钟。

文章目录

使用场合

binary_crossentropy(对数损失函数)

即 log loss,与 sigmoid 相对应的损失函数,针对于二分类问题。

categorical_crossentropy(多分类的对数损失函数)

softmax 相对应的损失函数,针对于独热化标签的多分类问题。

sparse_categorical_crossentrop(稀疏性多分类的对数损失函数)

在上面的多分类的对数损失函数的基础上,增加了稀疏性(即数据中多包含一定0数据的数据集),针对于非独热化标签的多分类问题。

MSE(均方误差)

主要用于预测、线性回归。

Hinge Loss

主要用于最大化间隔距离、SVM支持向量机。

使用方法

方法一

用对数损失函数举例如下:

bce = tf.keras.losses.BinaryCrossentropy(from_logits=False)loss = bce([0., 0., 1., 1.], [1., 1., 1., 0.])print('Loss: ', np.array(loss))  # Loss: 11.522857

在上面的代码中,bce 是对数损失函数的实例化,当模型最后一层没有经过激活函数时 from_logits 设置为 True,否则为 False

因为 logits 表示网络的直接输出 。如果网络输出的结果经过了 sigmoid 或者 softmax 的概率化,那么 from_logits=False 就表示把已经概率化了的输出,重新映射回原值。如果网络输出的结果没经过概率化,则 from_logits=True,表示不进行任何操作。

方法二

tf.keras.losses.binary_crossentropy(y_true=[0., 0., 1., 1.],                                    y_pred=[1., 1., 1., 0.],                                    from_logits=False)
上一篇:Tensorflow2.0中的梯度带(GradientTape)、梯度更新以及部分报错的解决方法
下一篇:Latex中合并表格中的多行(列)

发表评论

最新留言

第一次来,支持一个
[***.219.124.196]2025年03月25日 08时31分14秒