Demo 6-3：Efficient Coding 中的 KL 散度
视觉系统需要用有限资源编码自然刺激。如果编码模型分布 \(q(x)\) 与自然刺激统计 \(p(x)\) 不匹配，会产生额外的编码成本（多余比特），用 KL 散度度量。
自然刺激分布 \(p(x)\)
编码模型分布 \(q(x)\)
KL 不匹配区域
\[KL(p \| q) = \sum_x p(x) \log \frac{p(x)}{q(x)} \geq 0\]
参数控制
0.000
KL(p‖q) bits
—
H(p) 熵
—
H(p,q) 交叉熵
分布曲线与不匹配区域
逐点 KL 贡献 \(p(x) \log \frac{p(x)}{q(x)}\)
观察提示：当模型分布 \(q\) 与自然分布 \(p\) 完全重合时，KL = 0——没有浪费。偏移 \(\mu_q\) 或改变 \(\sigma_q\) 会增大 KL。注意 KL 不对称：\(p\) 有密度但 \(q\) 很低的地方贡献特别大。
文献与案例意图
Efficient coding 假说认为感觉系统的编码方式匹配环境统计。KL 散度可以解释为使用错误编码模型时浪费的 bits。参考：Attneave (1954); Barlow (1961); Simoncelli & Olshausen (2001).
Efficient coding 假说认为感觉系统的编码方式匹配环境统计。KL 散度可以解释为使用错误编码模型时浪费的 bits。参考：Attneave (1954); Barlow (1961); Simoncelli & Olshausen (2001).