白话机器学习-最优化方法-梯度下降法
发布日期:2021-10-10 05:31:08 浏览次数:29 分类:技术文章

本文共 517 字,大约阅读时间需要 1 分钟。

目录

前言:

本来打算直接分享逻辑回归的知识了,但是在整理笔记的过程中发现,逻辑回归里面用到的知识点不少,所以先整理下用到的相关数学知识,本章首先分享梯度下降法;

我们知道,数据挖掘的核心方法论是,定义出目标函数,定义出损失函数(代价函数),然后运用各种数学方法进行代价函数最小化,本章将要结束的梯度下降法就是一种方法(术语无约束最优化方法)

定义:

梯度下降法(gradient descent)或最速下降法(steepest descent),通常用来求解无约束最优化问题。(注:最优化问题可以分为约束最优化与无约束最优化,这个后续要是大家有兴趣,我可以做下分享。)

  • 特点:
  1. 实现简单;
  2. 迭代算法,每一步需要求解目标函数的梯度向量。
  • 定义: 假设f(x)是

    R^NRN

    上具有一阶连续偏导数的函数,要求解的无约束最优化问题是:

    image

    x^*x

    表示目标函数f(x)的极小点。

分析

梯度下降法是一种迭代算法,选取适当的初始值x0,进行迭代,更新x0的值,进行目标函数的极小化,直至收敛。由于负梯度方向是使函数值下降最快的方向,所以在迭代的每一步,用负梯度方向进行更新x的值,从而达到减少函数值的目的。

image

算法描述

梯度下降算法描述如下:

image

转载地址:https://blog.csdn.net/qq_22054285/article/details/79042254 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:白话机器学习-最优化方法-牛顿法
下一篇:深度学习超大模型的分布式训练的探索系列(一)

发表评论

最新留言

感谢大佬
[***.8.128.20]2024年03月19日 19时04分41秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

android开发的取消清空按钮,Android开发实现带清空按钮的EditText示例 2019-04-21
android gp服务,ArcGIS Runtime SDK for Android开发之调用GP服务(异步调用) 2019-04-21
mysql整体会滚_滚mysql 2019-04-21
向mysql数据库中添加批量数据类型_使用JDBC在MySQL数据库中快速批量插入数据 2019-04-21
最全的mysql 5.7.13_最全的mysql 5.7.13 安装配置方法图文教程(linux) 强烈推荐! 2019-04-21
mssql连接mysql数据库文件_在本地 怎么远程连接MSSQL数据库 2019-04-21
mssql 远程无法连接mysql_解决SQLServer远程连接失败的问题 2019-04-21
linux mysql c++编程_Linux下进行MYSQL的C++编程起步手记 2019-04-21
Maria数据库怎么复制到mysql_MySQL、MariaDB数据库的AB复制配置过程 2019-04-21
mysql5.6 icp mrr bak_【mysql】关于ICP、MRR、BKA等特性 2019-04-21
mysql utf8跟utf8mb4_MySQL utf8 和 utf8mb4 的区别 2019-04-21
docker mysql开机自启动_Docker学习4-学会如何让容器开机自启服务【坑】 2019-04-21
在mysql中删除表正确的是什么_在MySQL中删除表的操作教程 2019-04-21
mysql有3个共同好友_共同好友mysql 2019-04-21
代理查询 mysql_查询数据库代理设置 2019-04-21
mysql dif_mysqldiff实现MySQL数据表比较 2019-04-21
mysql 允许其他主机访问权限_允许其他主机访问本机MySQL 2019-04-21
druid不能close mysql连接_alibaba druid mysql连接问题 2019-04-21
mysql 设置按天分表_MySQL 优化实战记录 2019-04-21
java连接mysql 不推荐_java连接mysql 2019-04-21