Demo 1：Laplace 与 KL 近似比较
把 Laplace 局部高斯、reverse KL 的单峰锁定、forward KL 的质量覆盖放到同一个目标分布中比较。
蓝线：目标分布
紫线：Laplace
红线：reverse KL
橙线：forward KL
同一目标分布下的三种近似
目标 p(h)
Laplace：MAP + 曲率
reverse KL：锁定一峰
forward KL：覆盖质量
近似读数
MAP
—
Laplace 中心
Laplace σ
—
由局部曲率得到
reverse KL μ
—
mode-seeking
forward KL σ
—
mass-covering
数学知识卡片：局部近似与 KL 方向
Laplace 近似先找众数，再用该点的二阶曲率给出局部高斯；reverse KL \(\mathrm{KL}(q\|p)\) 惩罚把质量放到目标低密度区，因此倾向锁定一个峰；forward KL \(\mathrm{KL}(p\|q)\) 要覆盖目标的概率质量，因此会变宽。
Laplace: q(h)=N(h_MAP, H^{-1})，H=-d² log p(h)/dh² | h_MAP
Forward KL 的单高斯近似在这里用目标分布的均值和方差表示。
Forward KL 的单高斯近似在这里用目标分布的均值和方差表示。