本文共 1215 字，大约阅读时间需要 4 分钟。

感知机模型

输入空间是$\chi\subseteq\mathbb{R}^n$,输出空间是$y={+1,-1}$

感知机定义为：$f(x)=sign(wx+b)$

感知机学习策略

输入空间任一点$x_0$到超平面S的距离：

$\frac{1}{||w||}|wx_0+b|$误分类数据$(x_i,y_i)$,有$-y_i(wx_i+b)>0$误分类点$x_i$到超平面S的距离$-\frac{1}{||w||}y_i(wx_i+b)$误分类点集合M,所有误分类点到超平面S的距离$-\frac{1}{||w||}\sum_{x_i\in{M}}y_i(wx_i+b)$由此，感知机损失函数定义为$L(w,b)=-\sum_{x_i\in{M}}y_i(wx_i+b)$

感知机学习算法（原始形式）

输入：训练数据集

$T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}={+1,-1}$,学习率$\eta$输出：w,b;感知机模型$f(x)=sign(wx+b)$(1)选取初值$w_0$,$b_0$(2)训练集选取$(x_i,y_i)$(3)IF $y_i(wx_i+b)≤0$$w←w+\eta{y_ix_i}$$b←b+\eta{y_i}$(4)转至(2),直到没有误分类点。

另：感知机算法是收敛的，在训练数据及上的误分类次数k满足

$k≤(\frac{R}{\gamma})^2$

感知机学习算法（对偶形式）

由原始形式

$w←w+\eta{y_ix_i}$$b←b+\eta{y_i}$进行n次,w,b关于$(x_i,y_i)$增量分别为$a_iy_ix_i$和$a_iy_i$记$a_i=n_i\eta$,最后学习到的w,b表示为$w=\sum_{i=1}^{N}a_iy_ix_i$$b=\sum_{i=1}^{N}a_iy_i$输入：训练数据集$T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)}$$x_i\in\chi\subseteq\mathbb{R}^n$,$y_i\in{y}={+1,-1}$,学习率$\eta$输出：a,b;感知机模型$f(x)=sign(\sum_{j=1}^{N}a_jy_jx_j·x+b)$其中$a=(a_1,a_2,...,a_N)^T$(1)$a←0$;$b←0$(2)训练集选取$(x_i,y_i)$(3)IF $y_i(\sum_{j=1}^{N}a_jy_jx_j·x_i+b)≤0$$a_i←a_i+\eta$$b←b+\eta{y_i}$(4)转至(2),直到没有误分类点。记Gram矩阵$G=[x_i·x_j]_{N×N}$