广义线性模型Generalized Linear Model (GLM)
发布日期:2021-07-01 05:04:58
浏览次数:2
分类:技术文章
本文共 1239 字,大约阅读时间需要 4 分钟。
这一段主要讲的是广义线性模型的定义和假设,为了看明白逻辑回归,大家要耐着性子看完。 1.The exponential family 指数分布族因为广义线性模型是围绕指数分布族的,因此需要先介绍,用NG大神的话说就是,“虽然不是全部,但是我们见过的大多数分布都属于指数分布族,比如:Bernoulli伯努利分布、Gaussian高斯分布、multinomial多项分布、Poisson泊松分布、gamma分布、指数分布、Dirichlet分布……”服从指数分布族的条件是概率分布可以写成如下形式:
η 被称作natural parameter,它是指数分布族唯一的参数
T(y) 被称作sufficient statistic,很多情况下T(y)=y a(η) 被称作 log partition functionT函数、a函数、b函数共同确定一种分布接下来看一下为什么说正态分布(高斯分布)属于指数分布族:正态分布(正态分布有两个参数μ均值与σ标准差,在做线性回归的时候,我们关心的是均值而标准差不影响模型的学习与参数θ的选择,因此这里将σ设为1便于计算)2.构成广义线性模型的三个假设
p(y | x; θ) ∼ ExponentialFamily(η). 输出变量基于输入变量的条件概率分布服从指数分布族
- our goal is to predict the expected value of T(y) given x. 对于给定的输入变量x,学习的目标是预测T(y)的期望值,T(y)经常就是y
- The natural parameter η and the inputs x are related linearly: η = θT x. η和输入变量x的关联是线性的:η = θT x
这三个假设其实指明了如何从输入变量映射到输出变量与概率模型,举例来说:线性回归的条件概率分布为正态分布属于指数分布族(参考笔记一中线性回归的似然函数部分);我们的目标是预测T(y)的期望,由上面的计算我们知道T(y)=y,而y的期望值也就是正态分布的参数μ;由上面的计算我们知道μ=η,而η=θT x。因此,线性回归是广义线性回归的一个特例,它的模型是:
经典线性回归:预测值y是连续的,假设给定x和参数,y的概率分布服从高斯分布(对应构建GLM的第一条假设)。 逻辑回归:以二分类为例,预测值y是二值的{1,0},假设给定x和参数,y的概率分布服从伯努利分布(对应构建GLM的第一条假设)。
通过这样学习到GLM模型的建立。
1. C++标准模板库从入门到精通
2.跟老菜鸟学C++
3. 跟老菜鸟学python
4. 在VC2015里学会使用tinyxml库
5. 在Windows下SVN的版本管理与实战
6.Visual Studio 2015开发C++程序的基本使用
7.在VC2015里使用protobuf协议
8.在VC2015里学会使用MySQL数据库
转载地址:https://mysoft.blog.csdn.net/article/details/60576412 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月22日 21时26分46秒
关于作者
喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
自定义Starter
2019-05-01
分布式事务原理探究(一)
2019-05-01
映 射 ALT 键
2019-05-01
vim使用快捷键F4生成文件头注释、F5生成main函数模板、F6生成.h文件框架模板
2019-05-01
OV5620的视频驱动
2019-05-01
C++中两个类交叉定义或递归定义的解决办法
2019-05-01
记一次Hive 行转列 引起的GC overhead limit exceeded
2019-05-01
OpenGL ES八 - 交叉存取顶点数据
2019-05-01
crontab定时任务写法
2019-05-01
nginx: [emerg] unknown directive "if($remote_addr" in /usr/local/tools/nginx/conf/nginx.conf:57
2019-05-01
module pip has no attribute main问题解决
2019-05-01
LeetCode 134.Gas Station (加油站)
2019-05-01
Python之命名元组 (namedtuple)
2019-05-01
使用libpcap过滤arp
2019-05-01
[转帖]Robots.txt指南
2019-05-01
多用户与多租户的区别
2019-05-01
Python自动化运维 - day14 - JavaScript基础
2019-05-02
oracle保存小数点前为"0"的问题
2019-05-02
ipvsadm 安装配置
2019-05-02