https://taffyboys.github.io/tags/variational-inference/Recent content in Variational Inference on 📝Mocong's BlogsHugozh-cnSun, 09 Aug 2026 00:00:00 +0000https://taffyboys.github.io/posts/%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD_elbo_kl_jensen/Sun, 09 Aug 2026 00:00:00 +0000https://taffyboys.github.io/posts/%E5%8F%98%E5%88%86%E6%8E%A8%E6%96%AD_elbo_kl_jensen/<h1 id="jensen-不等式--kl-散度--最大化对数似然下界elbo">Jensen 不等式 → KL 散度 → 最大化对数似然下界（ELBO）</h1> <blockquote> <p>一句话主线：<strong>对数似然 $\log p(x)$ 算不动 → 引入任意分布 $q(z|x)$ 构造期望 → 用 Jensen 不等式强行挖出一个下界 ELBO → 下界与真值之间的&quot;缝&quot;恰好由 KL 散度度量 → 最大化 ELBO 就是在做&quot;最大似然&quot;与&quot;逼近真实后验&quot;两件事的合体。</strong></p> </blockquote> <pre tabindex="0"><code class="language-mermaid" data-lang="mermaid">graph LR A[&#34;对数似然 log p(x) 不可解析计算&#34;] --&gt; B[&#34;引入任意分布 q(z|x)&#34;] B --&gt; C[&#34;Jensen 不等式&lt;br/&gt;log E[f] &gt;= E[log f]&#34;] C --&gt; D[&#34;得到下界 ELBO(q)&#34;] D --&gt; E[&#34;间隙 log p(x) - ELBO = KL(q || p(z|x))&#34;] E --&gt; F[&#34;最大化 ELBO&lt;br/&gt;推高似然 + 逼近真实后验&#34;] </code></pre><hr> <h2 id="1-动机隐变量模型的困境">1. 动机：隐变量模型的困境</h2> <p>考虑带隐变量 $z$ 的模型，观测数据 $x$ 的边际似然为：</p>