本文共 1552 字，大约阅读时间需要 5 分钟。

神经网络

神经网络介绍

传统神经网络结构较为简单，训练时随机初始化输入参数，并开启循环计算输出结果，与实际结果进行比较从而得到损失函数，并更新变量使损失函数结果值极小，当达到误差阈值时即可停止循环。其训练目标是希望通过不断调整网络连接权值，学习到一个能够输出期望目标值的模型。

神经网络主要分为以下几类：

这些网络可以归结为监督型学习算法和非监督型学习算法，各自具有不同的训练方式和应用场景。

梯度下降算法

梯度下降是神经网络中常用的训练算法之一。其核心思想是通过不断调整模型参数，使得误差函数值最小化。以下是梯度下降的基本原理：

假设有一串数据：1.1、1.0、1.8、2.3、2.0、2.3、2.5、3.0，请问第九个数是多少？通过画一条直线并不断旋转它，可以不断计算每个样本点与直线的误差，直到误差之和达到最小。此时，直线的公式即为$y=kx+b$，其中$k$为斜率，$b$为偏移值。梯度下降的实质是通过调整$k$和$b$，最小化误差函数$误差=∑(直线点-样本点)^2$。通过学习率控制旋转角度，可以加快收敛速度，但需避免旋转过度导致无法收敛。

前馈神经网络

前馈神经网络是一种单向多层网络结构，信息从输入层逐层传递至输出层。其特点是通过反向传播（BP算法）逐步计算各层权重参数，实现非线性映射能力。激活函数（如Sigmoid函数）可确保网络输出为连续值，模拟神经元之间的交互。

其结构包括输入层、隐藏层和输出层，通过加权求和和非线性激活函数实现复杂函数逼近。BP算法的核心步骤如下：

感知器

感知器是最简单的前馈神经网络，用于分类问题。其计算公式为：

BP神经网络

BP（Back Propagation）神经网络是前馈型神经网络的一种，其特点是通过反向传播算法动态调整权重参数。其结构包括输入层、隐藏层和输出层，激活函数如Sigmoid函数可提供非线性映射能力。

BP网络的训练过程如下：

其核心算法包括：

• 残差计算：输出层到隐藏层，残差$δ = -(输出值-样本值) \cdot 激活函数导数$；
• 权重更新：根据学习率调整输入层、隐藏层和输出层之间的权重。

反馈神经网络

反馈神经网络的特点是内部神经元间具有双向连接，常见类型包括Hopfield网络、BAM网络和Elman网络。Hopfield网络基于Hebb规则，通过增强相邻神经元同时激活的连接权重，实现稳定态的记忆存储。

其特点包括：

Hopfield网络的局限性：

自组织神经网络

自组织神经网络（Kohonen网络）由输入层和竞争层组成，用于特征分类和聚类。其特点是：

其结构特点：

• 双向连接的竞争层，确保每个神经元受到其他神经元的反馈控制。
• 每个神经元具有阈值，用于噪声控制。

自组织网络广泛应用于数据聚类和模式识别，能够自动发现数据特征分布。