[一起面试AI]NO.11 熵、联合熵、条件熵、KL散度、互信息定义-白红宇的个人博客

发布日期：2021-05-09 06:18:10 浏览次数：16 分类：博客文章

本文共 332 字，大约阅读时间需要 1 分钟。

熵在物理中是用于衡量一个热力学系统的无序程度，表达式为△S=Q/T，其中Q是吸收或者释放的热量，T是温度。

计算机领域将其定义为离散随机事件出现的概率。一个系统越是有序信息熵就会越低；反之，系统越是混乱，信息熵就越高。

「联合熵」 两个随机变量X，Y的联合分布可求得联合熵。

「条件熵」 在随机变量X发生的前提下，随机变量Y带来的新的熵，即为Y的条件熵。

其含义是衡量在已知随机变量X的条件下随机变量Y带来的新的熵即为Y的条件熵。

「KL散度」 两个概率分布（probability distribution）间差异的非对称性度量。

「互信息」 两个随机变量X，Y的互信息定义为X，Y的联合分布和各自独立分布乘积的KL散度。

微信搜索全都是码农，点个关注不迷路啦！

转载地址：https://www.cnblogs.com/sabai/p/13237687.html 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！

上一篇：基于最近邻法手写数字识别(内附python源码)

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！