Demo 3：二维高斯 Gibbs

Gibbs 采样每次只更新一个变量：先水平移动（更新 x₁|x₂），再垂直移动（更新 x₂|x₁），形成特征性的锯齿形轨迹。调高相关系数 ρ 可以观察到链的混合变慢。

水平步（更新 x₁|x₂）

垂直步（更新 x₂|x₁）

历史样本

当前位置

控制面板

Gibbs 采样轨迹

当前状态

(0.00, 0.00)

迭代: 0

下一步更新

x₁|x₂

水平移动

条件分布

N(0.00, 0.75)

μ = ρ·x₂, σ² = 1−ρ²

条件分布可视化

当前条件分布的概率密度曲线，箭头标注采样值。

p(x₁|x₂ = 0.00)

N(μ=0.00, σ²=0.75)

p(x₂|x₁ = 0.00)

N(μ=0.00, σ²=0.75)

统计量

样本统计量 vs 真实分布参数

样本均值

x̄₁ = —

x̄₂ = —

真实值: (0, 0)

样本方差

s₁₁ = —

s₂₂ = —

真实值: (1, 1)

样本协方差

s₁₂ = —

真实值: 0.50

样本相关系数

r = —

真实值: 0.50

自相关函数 ACF（lag 0–30）

lag-1 x₁: — lag-1 x₂: —

联合分布与条件分布推导

联合分布

(x₁, x₂)^T 服从均值为零、方差为 1 的二维高斯分布，二者之间的相关系数为 ρ：

x ~ N(0, Σ) Σ =

1	ρ
ρ	1

1	0.50
0.50	1

多维高斯的条件分布公式

多维高斯的一个关键性质：已知部分变量 x_b 的值后，其余变量 x_a 的条件分布仍是高斯分布。其参数为：

p(x_a | x_b) = N(μ_a|b, σ²_a|b)

μ_a|b = μ_a + Σ_ab Σ_bb⁻¹ (x_b − μ_b) σ²_a|b = Σ_aa − Σ_ab Σ_bb⁻¹ Σ_ba

代入本例参数

本例中 μ_a = μ_b = 0，Σ_aa = Σ_bb = 1，Σ_ab = ρ，代入上式：

μ_a|b = 0 + ρ · 1⁻¹ · (x_b − 0) = ρ · x_b

σ²_a|b = 1 − ρ · 1⁻¹ · ρ = 1 − ρ² = 1 − 0.25 = 0.750

Gibbs 采样交替使用的两个条件分布

水平更新：p(x₁ | x₂) = N(ρ · x₂, 1 − ρ²)

垂直更新：p(x₂ | x₁) = N(ρ · x₁, 1 − ρ²)

直觉：条件均值 = ρ · 另一个变量的当前值（向另一个变量"靠拢"的程度取决于 ρ）；条件方差 = 1 − ρ²（ρ 越大，已知信息越多，不确定性越小）。

观察提示

ρ 越接近 ±1，链沿对角方向混合越慢，ACF 衰减也会更慢。
把每一步分解成水平段和垂直段：这正是交替抽取 p(x₁|x₂) 与 p(x₂|x₁)。
跑 1000 步后比较样本协方差与真实 ρ，观察有限样本误差如何随链长度缩小。

🧠 认知科学映射

Gibbs 采样对应"脑区间协调推断"——不同脑区轮流根据其他脑区的当前状态更新自己的信念。当变量高度相关时（如焦虑与睡眠），单维更新很难让整体信念快速改变，这解释了为什么有些心理状态会"卡住"。结构化 Gibbs（同时更新一组相关变量）对应知觉中的整体切换——例如从看到"狗"突然切换到看到"猫"。

文献与案例意图

对应章节：§吉布斯采样 + 例题 2；对应文献：Gershman2021Computational（可延伸：Buesing2011Neural）。

完整引用：

Gershman, Samuel J. 2021. What Makes Us Smart: The Computational Logic of Human Cognition. Princeton, NJ: Princeton University Press.
Buesing, Lars, Johannes Bill, Bernhard Nessler, and Wolfgang Maass. 2011. Neural dynamics as sampling: A model for stochastic computation in recurrent networks of spiking neurons. PLoS Computational Biology 7(11): e1002211. https://doi.org/10.1371/journal.pcbi.1002211.

案例想表达的想法： 二维高斯 Gibbs 采样把“联合推断”拆成两个条件更新：先固定 x₂ 更新 x₁，再固定 x₁ 更新 x₂。当相关系数 ρ 很高时，链会沿狭长椭圆缓慢移动，这正好说明为什么强耦合心理变量或神经群体状态很难靠单维局部更新快速混合。Buesing 等人的神经采样模型进一步提示，这种条件更新可以被理解为随机神经动力学的计算原语。