白话机器学习-线性模型之线性回归
发布日期:2021-10-10 05:31:09 浏览次数:10 分类:技术文章

本文共 808 字,大约阅读时间需要 2 分钟。

目录

前言

最近整理以前的笔记,发现还是写了一些文章的,以前都是记录在自己的笔记空间,没有分享,打算逐步进行分享,笔记的内容有工程方面的、有算法方面的,比较杂。

线性模型的基本形式

  1. 输入:x=(x1;x2;x3;…;xd)。表示:示例有d个属性,xi表示第i个属性;y表示输入x的标记。(x,y)组成样本点。
  2. 输出:通过训练样本集,学习一个通过属性的线性组合进行预测的函数

    f(x) = w1x1 + w2x2 + w3x3 + … + wdxd;

一般用向量形式写成:

image

线性模型形式简单、易于建模,但是却蕴含着机器学习中的一些重要的基本思想。

线性回归

  1. 输入:给定数据集D = {(x1,y1), (x2,y2), … ,(xm, ym)},其中xi=(xi1;xi2;xi3;…;xid),y术语R,输出标记;
  2. 输出:回归模型,该模型尽可能准确的预测实值输出标记;

由于输入x有很多的属性,我们为了方面研究,暂时只考虑只有一个属性的情况,之后我们再研究多个属性的情况。那么问题转化为,求如下的线性模型(目标函数)

image

ok,到目前为止,我们已经知道了我们要求解的目标函数,那么损失函数或者或代价函数如何定义呢,我们要采用什么样的方法来确定目标函数中的参数w和参数b呢?
3. 损失函数
下面先介绍几个术语

  • SSE(和方差):在统计学里,该参数计算的是拟合数据跟原始数据对应点的误差的平方和,计算公式为:

image

  • 均方误差:该统计参数是预测数据和原始数据对应点误差的平方和的均值,也就是SSE / n,和SSE没有太大的区别,计算公式为,

image

  1. ok,那么目前我们已知的是,我们有个训练样本集,有m个样本点,每个样本点有1个属性,一个标记。我们要求出一个模型,这个模型要尽量拟合所有的训练样本点,那么一个朴素的思想就是通过该模型预测的标记与真正的标记的偏差和最小– ==最小二乘法==;公式如下推倒:

image

多元回归

多元回归的处理如下:

image

image

转载地址:https://blog.csdn.net/qq_22054285/article/details/79045399 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:bloomfilter详解(布隆过滤器)
下一篇:白话机器学习-最优化方法-牛顿法

发表评论

最新留言

留言是一种美德,欢迎回访!
[***.67.50.14]2022年12月08日 07时08分42秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

最新文章

MVC+EF 入门教程(四) 2019-06-18 13:17:42
java String补足 2019-06-18 13:17:41
笔记2:傻瓜式盗QQ程序 2019-06-18 13:17:41
ios开发之--令UITableView滚动到指定位置 2019-06-18 13:17:41
Chrome中使用showModalDialog无法接收返回值,解决方案 2019-06-18 13:17:40
很想回家,想念从前...... 2019-06-18 13:17:40
O-超大型LED显示屏 2019-06-18 13:17:39
学习一下HTTP 2019-06-18 13:17:39
脱离标准文档流(1)---浮动 2019-06-18 13:17:38
HDU 1222 Wolf and Rabbit(gcd) 2019-06-18 13:17:37
gprof 2019-06-18 13:17:37
ubuntu proxy 2019-06-18 13:17:36
js 判断字符是否以汉字开头 2019-06-18 13:17:36
java 中的 long 2019-06-18 13:17:35
Spark:windows下配置spark开发环境 2019-06-18 13:17:35
ListUtil常用操作 2019-06-18 13:17:34
SecureCRT恢复默认字体 2019-06-18 13:17:33
telnet的使用 2019-06-18 13:17:33
P1280 尼克的任务 2019-06-18 13:17:32
验证(Authentication)和授权(Authorization)(一): 2019-06-18 13:17:32