一个永远说同一句话的信使
目录 · 2
为什么越能猜到你下一句,你话里的信息就越少
烽火台上有俩传令兵。甲每天只喊一句:『平安。』你一听就懂,可什么新东西也没捞着——他下一句永远在你肚里。乙不,他每天从一串可能里挑一个词:有时『平安』,有时『有敌』,有时『借道』,你永远猜不准他下句啥,于是他每开一回口,就往你脑子里塞一点新东西。镇上人教娃娃:『听甲长不了学问,听乙才叫得着消息。』后来有个匠人把这事折算成一个数:这数越大,说明那人越『出人意料』,你从他每句话里榨出的信息就越多;要是零,他干脆是个闷葫芦,张了嘴也白张。
揭示
这则故事想说的概念是:信息熵(Shannon Entropy)。
英文定义(Shannon Entropy):A measure of the average uncertainty or surprise of a random source, defined as H = −Σ pᵢ log pᵢ; it quantifies the minimum expected number of bits needed to encode the source’s outcomes.
它属于哪个领域:信息论(Information Theory)
香农 1948 年提出信息熵 H = −Σ pᵢ log pᵢ,度量一个信源的平均『意外程度』。结果越可预测(某事件概率接近 1),熵越低、所含信息越少;结果越均匀难测,熵越高、所需编码比特越多。它是数据压缩(下限)与通信(信道容量)的理论基石——『信息』不是内容本身,而是『消除不确定』的量。
故事里的隐喻对应什么
- 甲永远只喊『平安』 → 确定性信源,熵为 0,无信息
- 乙的话你永远猜不准 → 结果分散 ⇒ 高熵 ⇒ 高信息量
- 乙每开口,就往你脑子里塞一点新东西 → 信息 = 消除不确定(意外)
- 匠人折算出的那个数,越大越出人意料 → 香农熵 H = −Σ pᵢ log pᵢ