两座互望的灯塔
目录 · 2
为什么知道这一头亮,那一头也就没那么意外了
海峡两岸各一座灯塔,守灯人从不通信。日子久了,西岸人发现:东岸一亮红灯,西岸过不多久也常亮红;东岸亮绿,西岸多半也绿。两盏灯各自都有『平安/有警』两种脸色,单看哪一盏,你总有一半猜不准;可一旦知道了东岸那盏的颜色,西岸那盏的颜色就好猜了一大半。有人后来算清:两盏灯各自藏的『意外』加一块,减去它俩合起来的总意外,剩的那一块,就是『一灯告诉你的关于另一灯的事』。这块越大,两灯越像在说同一桩事;要是零,任凭一盏怎么亮,另一盏依旧全无征兆。
揭示
这则故事想说的概念是:互信息(Mutual Information)。
英文定义(Mutual Information):A measure of the amount of information that one random variable reveals about another, defined as I(X;Y) = H(X) + H(Y) − H(X,Y); it is zero if and only if the variables are independent.
它属于哪个领域:信息论(Information Theory)
互信息 I(X;Y) = H(X) + H(Y) − H(X,Y) 度量一个变量削减另一个变量不确定性的程度,即『知道 X 能告诉你多少关于 Y 的事』。它为 0 当且仅当 X、Y 独立(互不相干);越大则关联越强。它是特征选择、因果发现、通信与神经科学中量化『相关而非因果』依赖的核心工具。
故事里的隐喻对应什么
- 东岸亮红,西岸常也亮红 → 两变量统计相关
- 知东岸颜色,西岸好猜一大半 → 一个变量降低另一个的不确定性
- 各自意外相加,减去合起来的总意外 → I(X;Y) = H(X)+H(Y)−H(X,Y)
- 那块是零,则一灯怎么亮另一灯全无征兆 → 互信息为 0 ⇔ 独立