对话通信原理——信息
发布日期:2022-02-19 23:50:29 浏览次数:51 分类:技术文章

本文共 1554 字,大约阅读时间需要 5 分钟。

信息量

I(信息量)=不确定程度的减少量

自信息量

定义:一个随机事件的自信息量定义为其出现概率对数的负值。

一个消息越不可预测,它所含的信息量就越大
(消息发生的概率越低,信息量越大)
a=2,单位为比特(bit)

信息熵(平均信息量)

大体了解概念和公式,以后再深究。

学习视频:

公式补充

1. 信 息 熵 1.信息熵 1.

H ( X ) = E [ − l o g 2 p ( x i ) ] = ∑ i = 1 n p ( x i ) l o g 2 1 p ( x i ) 比 特 / 符 号 H(X)=E[-log_2p(x_i)]=\textstyle \sum_{i=1}^n p(x_i)log_2 \frac{1}{p(x_i)}比特/符号 H(X)=E[log2p(xi)]=i=1np(xi)log2p(xi)1/
也 可 用 H ( p 1 , p 2 , . . . , p n ) 表 示 也可用H(p_1,p_2,...,p_n)表示 H(p1,p2,...,pn)
2. 联 合 熵 2.联合熵 2.
H ( X , Y ) = ∑ i = 1 n ∑ j = 1 n p ( x i , y j ) l o g 2 1 p ( x i , y j ) 比 特 / 符 号 对 H(X,Y)=\textstyle \sum_{i=1}^n \sum_{j=1}^n p(x_i,y_j)log_2 \frac{1}{p(x_i,y_j)} 比特/符号对 H(X,Y)=i=1nj=1np(xi,yj)log2p(xi,yj)1/
3. 条 件 熵 3.条件熵 3.
H ( Y ∣ X ) = ∑ i = 1 n p ( x i ) H ( Y ∣ x i ) = ∑ i = 1 n ∑ j = 1 n p ( x i , y j ) l o g 2 1 p ( y j ∣ x i ) 比 特 / 符 号 对 H(Y|X)=\textstyle \sum_{i=1}^n p(x_i)H(Y|x_i)=\textstyle \sum_{i=1}^n \sum_{j=1}^n p(x_i,y_j)log_2 \frac{1}{p(y_j|x_i)} 比特/符号对 H(YX)=i=1np(xi)H(Yxi)=i=1nj=1np(xi,yj)log2p(yjxi)1/
4. 互 信 息 4.互信息 4.
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) = H ( X ) + H ( Y ) − H ( X , Y ) 比 特 / 符 号 对 I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y)比特/符号对 I(X;Y)=H(X)H(XY)=H(Y)H(YX)=H(X)+H(Y)H(X,Y)/
在这里插入图片描述
5. 基 本 性 质 5.基本性质 5.

  • 非负性:由定义可得
  • 对称性:当概率矢量中的各分量的次序任意变更时,熵值不变。
  • 确定性:某消息取值概率为1时,熵为0
  • 极值性:等概时取得极大值
    H ( p 1 , p 2 , . . . , p n ) ≤ H ( 1 n , 1 n , . . . , 1 n ) = l o g 2 n H(p_1,p_2,...,p_n)≤H(\frac{1}{n},\frac{1}{n},...,\frac{1}{n})=log_2n H(p1,p2,...,pn)H(n1,n1,...,n1)=log2n

转载地址:https://blog.csdn.net/Leslie_Waong/article/details/105774629 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:vue防抖函数,避免暴力点击
下一篇:对话通信原理——信号

发表评论

最新留言

表示我来过!
[***.240.166.169]2024年03月21日 11时45分12秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

c 调用mysql密码为空_C语言连MySQL - osc_srnunz15的个人空间 - OSCHINA - 中文开源技术交流社区... 2019-04-21
mysql怎么分组查询所有数据库_Mysql-4 分组查询与子查询 2019-04-21
mysql 多列union_Mysql联合查询UNION和UNION ALL的使用介绍 2019-04-21
mysql导数据出指定数量_mysql导出指定数据或部份数据的方法 2019-04-21
java thread 多线程_java用Thread方式创建多线程 2019-04-21
java 注解与反射_Java注解与反射直接上手 2019-04-21
java按钮退出_java – 如何在此程序中添加退出按钮?怎么样“清楚”? 2019-04-21
python土味情话_Python 将土味情话语录设置为桌面壁纸 2019-04-21
java ip 范围内打卡_定位地理位置PHP判断员工打卡签到经纬度是否在打卡之内 2019-04-21
与java线程有关的,线程多少和什么有关?大神们表示有话要说! 2021-06-24
php正则表达式 匹配数字,正则表达式之匹配数字范围 2021-06-24
php中带?错误,参考-此错误在PHP中意味着什么? 2019-04-21
php生成链接列表,根据URL链接和抛文本生成链接<a>标签的PHP函数 2019-04-21
matlab里inline定义矩阵,Matlab中的inline函数_matlab中inline函数 2019-04-21
php html标签自定义属性,浅谈JS读取DOM对象(标签)的自定义属性 2019-04-21
如何使用matlab的siso,利用Matlab内建程式SISODesignTool完成系统分析(Matlab61)开启.PDF... 2019-04-21
php 实现 model层,Thinkhphp5控制器调用的Model层的方法总结 2019-04-21
matlab6.0序列号,MFC软件获取USB设备的制造商、产品、序列号 2019-04-21
matlab中多边形滤波器,几种常见空间滤波器MATLAB实现 2019-04-21
matlab fminimax 例子,Matlab应用实例(8)—fminimax 2019-04-21