Demo 4:二维高斯后验与平均场近似

对应正文二维高斯例题:观测只约束 h₁+h₂,因此真实后验出现负相关;平均场 q(h₁)q(h₂) 能匹配均值,却不能保存相关性。

蓝线:真实后验 玫红虚线:平均场 q 青线:似然约束

二维后验等高线:真实相关 vs 平均场独立

真实后验 p(h|v):负相关椭圆 平均场 q(h₁)q(h₂):轴对齐椭圆 似然中心线 h₁+h₂=v

当前数值诊断

解析后验均值
(v/3, v/3)
真实相关系数
-0.500
h₁ 与 h₂ 后验负相关
平均场均值
迭代中的 (m₁,m₂)
KL(q||p)
包含无法消除的相关性 gap
迭代步
0
坐标平均场更新

数学知识卡片:同一个 ELBO,两个近似族

真实后验: μ = (v/3, v/3) Σ = [[2/3, -1/3], [-1/3, 2/3]]
平均场最优: q_MF(h)=N(h₁|v/3, 1/2) N(h₂|v/3, 1/2)

完整二维高斯近似族 q(h)=N(m,S) 可以学习协方差 s₁₂,因此在本例中会恢复真实后验。平均场近似把 s₁₂ 强制设为 0,所以只能得到轴对齐椭圆。

教学重点:平均场不是换了一个生成模型,而是把同一个 ELBO 限制在“两个变量独立”的近似族里;代价是低估边缘方差,并丢掉后验负相关。