Demo 8-1:Schapiro 统计学习 — 隐藏 Community 结构

被试观察连续出现的图形序列。图形之间的转移概率不是随机的,而隐含 community 结构。EM 算法通过 E-step(分配 responsibility)和 M-step(更新转移矩阵)发现这些隐藏群组。

隐变量 \(z_t\):community 观测 \(x_t\):shape

\[r_{tk} = p(z_t = k \mid x_t, \theta) \propto \pi_k \cdot p(x_t \mid z_t = k, \theta)\]

控制

0
EM 迭代
Log-Likelihood

序列时间线

Responsibility 热力图 (time × community)

转移图

Community 转移矩阵 (学习后)

观察提示:初始时 responsibility 均匀分布(每行颜色相同)。随着 EM 迭代,属于同一 community 的图形获得一致的高 responsibility 值,热力图出现清晰的"条带"结构。这就是隐变量学习如何发现不可见的结构单元。
文献与案例意图
隐变量学习可以解释人类如何从连续经验中发现不可见的结构单元。参考:Schapiro et al. (2013, 2017); Dempster, Laird & Rubin (1977).