Demo 4:二维高斯后验与平均场近似
对应正文二维高斯例题:观测只约束 h₁+h₂,因此真实后验出现负相关;平均场 q(h₁)q(h₂) 能匹配均值,却不能保存相关性。
蓝线:真实后验
玫红虚线:平均场 q
青线:似然约束
二维后验等高线:真实相关 vs 平均场独立
真实后验 p(h|v):负相关椭圆
平均场 q(h₁)q(h₂):轴对齐椭圆
似然中心线 h₁+h₂=v
当前数值诊断
解析后验均值
—
(v/3, v/3)
真实相关系数
-0.500
h₁ 与 h₂ 后验负相关
平均场均值
—
迭代中的 (m₁,m₂)
KL(q||p)
—
包含无法消除的相关性 gap
迭代步
0
坐标平均场更新
数学知识卡片:同一个 ELBO,两个近似族
真实后验:
μ = (v/3, v/3)
Σ = [[2/3, -1/3], [-1/3, 2/3]]
平均场最优:
q_MF(h)=N(h₁|v/3, 1/2) N(h₂|v/3, 1/2)
完整二维高斯近似族 q(h)=N(m,S) 可以学习协方差 s₁₂,因此在本例中会恢复真实后验。平均场近似把 s₁₂ 强制设为 0,所以只能得到轴对齐椭圆。
教学重点:平均场不是换了一个生成模型,而是把同一个 ELBO 限制在“两个变量独立”的近似族里;代价是低估边缘方差,并丢掉后验负相关。