5.1 Exercises

Mon, 13 Jul 2026 14:46:00 +0800

Show that adding layers to a linear deep network, i.e., a network without nonlinearity can never increase the expressive power of the network. Give an example where it actively reduces it.

线性网络（无激活）：矩阵乘法必然坍缩

多层线性网络等价于一个线性变换：
\(\mathbf{y} = \mathbf{W}_L \cdots \mathbf{W}_1 \mathbf{x} = \mathbf{W}_{\text{eff}} \mathbf{x}\)
有效权重矩阵的秩受瓶颈限制：
\(\text{rank}(\mathbf{W}_{\text{eff}}) \le \min\limits_i \text{rank}(\mathbf{W}_i)\)
如果中间层宽度小于输入/输出维度，信息被永久压缩，无法恢复（例如无法表达满秩映射）。

非线性网络（有激活）：逐元素操作破坏线性相关性

线性部分的输出经过非线性函数（如 ReLU）：
\(\mathbf{h}_{i+1} = \text{ReLU}(\mathbf{W}_{i+1} \mathbf{h}_i)\)
ReLU 会将所有负值归零，这一“剪切”操作破坏了矩阵行/列之间的线性相关性。
原本线性相关的行（成比例）经过不同的截断后，变得不再成比例，因此矩阵的秩在非线性层之后显著增加，逼近该层的维度上限。

本质对比

网络类型	数学本质	对秩的影响
线性深度网络	矩阵乘积	秩单调不增，受瓶颈限制
非线性深度网络	复合非线性函数	每层非线性可恢复/提升秩，打破瓶颈

Compute the derivative of the pReLU activation function.

\[ \frac{d}{dx} \text{PReLU}(x) = \begin{cases} 1 & \text{if } x > 0 \\ \alpha & \text{if } x < 0 \\ 未定义（实践中取\alpha或1） & \text{if } x = 0 \end{cases} \]

Compute the derivative of the Swish activation function \[ x\ sigmoid(\beta x) \].

\[ \frac{d}{dx} \text{Swish}(x) = \sigma(\beta x) + \beta x \cdot \sigma(\beta x) \cdot (1 - \sigma(\beta x)) \]

Show that an MLP using only ReLU (or pReLU) constructs a continuous piecewise linear function.

设 \( f \) 是连续分段线性函数，其线性区域集合为 \(\{\mathcal{R}_i\}_{i=1}^m\)，每个区域为凸多面体。

ReLU如何缓解梯度消失

Mon, 13 Jul 2026 00:00:00 +0000

1. 背景：梯度消失的本质

在深度神经网络中，梯度消失（Vanishing Gradient）是指反向传播时，越靠近输入层的梯度越小，甚至趋近于零，导致浅层参数几乎无法更新，网络难以训练。

其数学根源是 链式法则 下的连乘效应：

\[ \frac{\partial L}{\partial W^{(l)}} = \frac{\partial L}{\partial y^{(L)}} \cdot \prod_{k=l}^{L-1} \left( W^{(k+1)} \cdot f'(z^{(k)}) \right) \]

其中 \( f' \) 是激活函数的导数。如果每一层都乘以一个小于 1 的数，连乘结果会指数级衰减。

2. 传统激活函数的"饱和"问题

Sigmoid

导数范围：\((0, 0.25]\)
在两端（极大/极小输入）导数趋近于 0
深层网络中，梯度被逐层压缩到原来的 1/4 以下

Tanh

导数范围：\((0, 1]\)
仅在 0 附近导数为 1，两端迅速饱和
虽然比 Sigmoid 稍好，但仍存在严重衰减

这两者的共同点是：处处都可能饱和，且导数最大值 ≤ 1。

3. ReLU 的数学特性

ReLU 定义：

\[ f(x) = \max(0, x) \]

其导数极其简单：

\[ f'(x) = \begin{cases} 1 & x > 0 \\ 0 & x < 0 \end{cases} \]

关键点在于：