从线性自编码器到去噪自编码器：发展脉络与公式推导

Mon, 10 Aug 2026 00:00:00 +0000

从线性自编码器到去噪自编码器：发展脉络与公式推导

本文按四章梳理自编码器（Autoencoder）家族的发展主线，每章包含定义、数学推导与设计动机。

引言：一条主线

自编码器家族的发展可以概括为一条主线：

不断提高表达力 → 防止过拟合 → 学会真正有用的特征

flowchart LR
 A[线性自编码器<br/>单层 + 线性<br/>等价于 PCA] --> B[Deep Autoencoder<br/>多层 + 非线性<br/>表达力更强]
 B --> C{训练更易过拟合}
 C --> D[Sparse Autoencoder<br/>稀疏约束 → 可解释特征]
 C --> E[Denoising Autoencoder<br/>噪声重建 → 鲁棒特征]

阶段	解决什么问题	引入什么
线性自编码器	基础降维	编码器 / 解码器 / 瓶颈结构
Deep Autoencoder	只能线性、表达力不足	多层结构 + 非线性激活
Sparse Autoencoder	特征不清晰、不可解释	稀疏性约束（L1 / KL 散度）
Denoising Autoencoder	特征不鲁棒、容易过拟合	输入噪声 + 重建原版

第 1 章　线性自编码器（Linear Autoencoder）

1.1 定义

编码器与解码器都不含激活函数，只有线性变换（矩阵乘法 + 偏置）：

Jensen 不等式 → KL 散度 → 最大化对数似然下界（ELBO）

Sun, 09 Aug 2026 00:00:00 +0000

Jensen 不等式 → KL 散度 → 最大化对数似然下界（ELBO）

一句话主线：对数似然 $\log p(x)$ 算不动 → 引入任意分布 $q(z|x)$ 构造期望 → 用 Jensen 不等式强行挖出一个下界 ELBO → 下界与真值之间的"缝"恰好由 KL 散度度量 → 最大化 ELBO 就是在做"最大似然"与"逼近真实后验"两件事的合体。

graph LR
 A["对数似然 log p(x) 不可解析计算"] --> B["引入任意分布 q(z|x)"]
 B --> C["Jensen 不等式<br/>log E[f] >= E[log f]"]
 C --> D["得到下界 ELBO(q)"]
 D --> E["间隙 log p(x) - ELBO = KL(q || p(z|x))"]
 E --> F["最大化 ELBO<br/>推高似然 + 逼近真实后验"]

1. 动机：隐变量模型的困境

考虑带隐变量 $z$ 的模型，观测数据 $x$ 的边际似然为：

Machine Learning on 📝Mocong's Blogs

从线性自编码器到去噪自编码器：发展脉络与公式推导

从线性自编码器到去噪自编码器：发展脉络与公式推导

引言：一条主线

第 1 章 线性自编码器（Linear Autoencoder）

1.1 定义

Jensen 不等式 → KL 散度 → 最大化对数似然下界（ELBO）

Jensen 不等式 → KL 散度 → 最大化对数似然下界（ELBO）

1. 动机：隐变量模型的困境

第 1 章　线性自编码器（Linear Autoencoder）