本文共 1430 字，大约阅读时间需要 4 分钟。

全部笔记的汇总贴：

涉及到的比较多，可以看看这个汇总贴后面的几篇：汇总贴：

一、玻尔兹曼机

二、受限玻尔兹曼机

三、深度信念网络

四、深度玻尔兹曼机

五、实值数据上的玻尔兹曼机

• Gaussian-Bernoulli RBM
• 条件协方差的无向模型（均值和协方差 RBM、学生$t$分布均值乘积模型和尖峰和平板 RBM）

六、卷积玻尔兹曼机

超高维度输入（如图像）会对机器学习模型的计算、内存和统计要求造成很大的压力。通过使用小核的离散卷积来替换矩阵乘法是解决具有空间平移不变性或时间结构的输入问题的标准方式。

虽然高效的概率最大池化确实能强迫检测器单元互斥，这在某些情景下可能是有用的正则化约束而在其他情景下是对模型容量有害的限制。

七、用于结构化或序列输出的玻尔兹曼机

使用玻尔兹曼机条件建模的相同工具不仅可以用于结构化输出任务，还可以用于序列建模。

RNN-RBM 由 RNN（产生用于每个时间步的 RBM 参数）组成，是帧序列$x^{(t)}$ 的生成模型。与之前只有 RBM 的偏置参数会在一个时间步到下一个发生变化的方法不同， RNN-RBM 使用 RNN 来产生 RBM 的所有参数（包括权重）。

八、其他玻尔兹曼机

玻尔兹曼机可以用不同的训练准则扩展。我们专注于训练为大致最大化生成标准$\log p(v)$的玻尔兹曼机。

玻尔兹曼机框架是一个丰富的模型空间，允许比迄今为止已经探索的更多的模型结构。开发新形式的玻尔兹曼机相比于开发新的神经网络层需要更多细心和创造力，因为它通常很难找到一个能保持玻尔兹曼机所需的所有不同条件分布的可解性的能量函数。尽管这需要努力，该领域仍对创新开放。

九、通过随机操作的反向传播

• 通过离散随机操作的反向传播

十、有向生成网络

• sigmoid 信念网络
• 可微生成器网络
• 变分自编码器
• 生成式对抗网络
• 生成矩匹配网络
• 卷积生成网络
• 自回归网络
• 线性自回归网络
• 神经自回归网络
• NADE

十一、从AE采样

• 与任意去噪自编码器相关的马尔可夫链
• 夹合与条件采样
• 回退训练过程

十二、生成随机网络

生成随机网络（generative stochastic network, GSN）是去噪自编码器的推广，除可见变量（通常表示为$x$）之外，在生成马尔可夫链中还包括潜变量 $h$。

• 判别性 GSN

十三、其他生成方案

• 扩散反演
• 近似贝叶斯计算

十四、评估生成模型

研究生成模型的研究者通常需要将一个生成模型与另一个生成模型比较，通常是为了证明新发明的生成模型比之前存在的模型更能捕获一些分布。

十五、结论

为了让模型理解表示在给定训练数据中的大千世界，训练具有隐藏单元的生成模型是一种有力方法。通过学习模型$p_{model}(x)$ 和表示$p_{model}(h|x)$，生成模型可以解答$x$输入变量之间关系的许多推断问题，并且可以在层次的不同层对$h$ 求期望来提供表示$x$的许多不同方式。生成模型承诺为 AI 系统提供它们需要理解的、所有不同直观概念的框架，让它们有能力在面对不确定性的情况下推理这些概念。我们希望我们的读者能够找到增强这些方法的新途径，并继续探究学习和智能背后原理的旅程。