Demo 8-4：ELBO / Free Energy 与知觉学习
大脑用近似后验 \(q(h)\) 解释感觉输入 \(v\)。学习过程提高 evidence lower bound (ELBO)，缩小 KL gap。E-step 最小化 KL，M-step 提高 ELBO。两步交替使 ELBO 逼近 log evidence。
log p(v) 证据
ELBO = \(\mathcal{L}(q)\)
KL gap
\[\log p(v) = \underbrace{\mathcal{L}(q)}_{\text{ELBO}} + \underbrace{KL(q(h) \| p(h \mid v))}_{\geq 0}\]
控制
—
log p(v)
—
ELBO
—
KL gap
0
EM 迭代
分布曲线：p(h|v) 真实后验 vs q(h) 近似
ELBO 收敛与 KL gap
观察提示：E-step 使 \(q\) 逼近真实后验（减小 KL），ELBO 上升。M-step 改变模型参数 θ 使 ELBO 进一步上升（但 KL 可能暂时增大）。手动调节 q 锐度观察 ELBO 和 KL 如何变化——过宽或过窄的 q 都会增大 KL。
文献与案例意图
EM 和变分自由能共享同一核心：用可计算的下界逐步逼近难以直接计算的证据。参考：Dempster, Laird & Rubin (1977); Neal & Hinton (1998); Friston (2003); Parr & Friston (2022).
EM 和变分自由能共享同一核心：用可计算的下界逐步逼近难以直接计算的证据。参考：Dempster, Laird & Rubin (1977); Neal & Hinton (1998); Friston (2003); Parr & Friston (2022).