Demo 2:先验、似然、后验与 ELBO 匹配

按顺序体验:先验 + 似然如何形成后验,再加载可调的 q(h),用 ELBO 与 KL gap 判断 q 是否贴近后验。

紫点划:先验 青虚线:似然 蓝实线:后验 玫红虚线:q

教学流程:从生成模型到近似后验

先看先验 p(h):观察者在没有新证据时对隐状态 h 的初始信念。

先验 p(h) 似然 p(v|h) 后验 p(h|v) 近似 q(h)

实时匹配程度

后验均值
0.8v
KL(q||posterior)
越小越匹配
ELBO
log p(v) - KL
均值误差
|μ_q-μ_post|

数学知识卡片:ELBO 与 KL gap

本 demo 的生成模型是 \(p(h)=N(0,4)\)、\(p(v|h)=N(h,1)\)。观测 \(v\) 后,真实后验仍是高斯:\(p(h|v)=N(0.8v,0.8)\)。

log p(v) = ELBO(q) + KL(q(h) || p(h|v))
所以最大化 ELBO 等价于让 q(h) 贴近真实后验。