Demo 2:先验、似然、后验与 ELBO 匹配
按顺序体验:先验 + 似然如何形成后验,再加载可调的 q(h),用 ELBO 与 KL gap 判断 q 是否贴近后验。
紫点划:先验
青虚线:似然
蓝实线:后验
玫红虚线:q
教学流程:从生成模型到近似后验
先看先验 p(h):观察者在没有新证据时对隐状态 h 的初始信念。
先验 p(h)
似然 p(v|h)
后验 p(h|v)
近似 q(h)
实时匹配程度
后验均值
—
0.8v
KL(q||posterior)
—
越小越匹配
ELBO
—
log p(v) - KL
均值误差
—
|μ_q-μ_post|
数学知识卡片:ELBO 与 KL gap
本 demo 的生成模型是 \(p(h)=N(0,4)\)、\(p(v|h)=N(h,1)\)。观测 \(v\) 后,真实后验仍是高斯:\(p(h|v)=N(0.8v,0.8)\)。
log p(v) = ELBO(q) + KL(q(h) || p(h|v))
所以最大化 ELBO 等价于让 q(h) 贴近真实后验。
所以最大化 ELBO 等价于让 q(h) 贴近真实后验。