数据预处理与Batch Normalization
发布日期:2022-03-11 10:18:48 浏览次数:23 分类:技术文章

本文共 776 字,大约阅读时间需要 2 分钟。

在构建模型的时候,对数据进行预处理和批标准化特别重要,因此模型训练并不容易,特别是一些非常复杂的模型,并不能很好的训练得到收敛结果,所以对数据增加预处理,同时使用批标准化能够得到非常好的收敛结果,这也是卷积神经网络能够训练到非常深的层的一个重要原因。

1. 数据预处理

目前数据预处理最常见的方法是中心话和标准化(归一化),中心化相当于修正数据的中心位置,实现方法非常简单,就是在每个特征维度上减去对应的均值,最后得到0均值的特征。标准化也非常简单,在数据变成0均值后,为了使得不同的特征维度有着相同的规模,可以除以标准差近似为一个标准正态分布,也可以依据最大值和最小值将其转换为(-1, 1)之间,也就是归一化,下面是一个简单的图示:

另外,还有一些方法比如PCA等。

2. Batch Normalization

前面在数据预处理的时候,我们尽量输入特征不相关且满足一个标准的正态分布,这样模型的表现一般也较好。但是对于很深的网络结构,网络的非线性层会使得输出的结果变得相关,且不再满足一个标准的N(0, 1)的分布,甚至输出的中心也发生了偏移,这对于模型的训练,特别是深层的模型训练非常困难。所以在2015年一篇论文提出了这个方法,批标准化,简而言之,就是对于每一层网络的输出,对其做一个归一化,使其服从标准的正态分布,这样后一层网络的输入也是一个标准的正态分布,所以能够较好的进行训练,加快收敛速度。

batch normalization的实现非常简单,对于给定的一个batch数据B = {x1,x2, ... ,xn}算法的公式如下:

公式(1)、(2)计算出一个batch中数据的均值和方差,接着使用公式(3)对batch中的每一个数据做标准化,是为了计算稳定引入的一个小常数,通常取10的负5次幂,最后利用权重修正得到最后的输出结果。

转载地址:https://blog.csdn.net/weicao1990/article/details/100523332 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:PyTorch 常用代码段整理合集
下一篇:模型性能指标

发表评论

最新留言

感谢大佬
[***.8.128.20]2024年03月11日 09时53分40秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

mysql执行计划中性能最差的是_MySQL性能优化(七):MySQL执行计划,真的很重要,来一起学习吧... 2019-04-21
易语言执行mysql命令_易语言通过“打开”命令操作数据库 2019-04-21
mysql slave 1062_mysql主从同步slave错误1062 2019-04-21
mysql构造器_MySQL行构造器表达式优化(Row Constructor Expression) 2019-04-21
2008日志清理 server sql_SQL Server 2008 清除日志 2019-04-21
mac mysql root 权限_Mac平台重新设置MySQL的root密码 2019-04-21
mysql新增一列_MySQL-ProxySQL中间件 2019-04-21
mysql 30入门_30分钟带你快速入门MySQL教程 2019-04-21
kangle主机怎么配置MySQL_kangle web服务+easypanel主机控制面板快速搭建网站和数据库以及管理空间详细教程... 2019-04-21
mysql 翻页 存储过程_MySQl通用翻页(存储过程) 2019-04-21
2020word替换所有文本_Excel字符函数(5):REPLACE、SUBSTITUTE查找替换函数之区别... 2019-04-21
win10安装ipython_win10环境 ipython app.py 8080 这里为什么是ipython 这步无法启动 2019-04-21
假定在MYSQL_假定在名称为教学库的数据库中包含有学生、课程和选课三个表,它们的定义如下 - 问答库... 2019-04-21
mysql多字段存储过程_mysql 的存储过程_多字段 2019-04-21
python怎么创建字符串列表_如何在python列表中为每个字符串创建子列表? 2019-04-21
vba ado 执行多条mysql 语句_access 按钮 多条sql语句 VBA 2019-04-21
弹性方法计算连续梁板内力_(梁板结构)混凝土结构设计复习题及答案 2019-04-21
java root权限_android java获得root权限调用linux命令 | 学步园 2019-04-21
java最小化窗体_JAVA窗体最大化最小化控制+托盘 2019-04-21
java 注解 数组默认值_Java注解默认值 2019-04-21