致知录
第 XXXIV 卷 · 第 90 篇 · Concept Fables · 1970.01.01

小数点的突然开窍

概念寓言 · 1970.01.01 · 1 分钟阅读 · 269 字
目录 · 2
小的时候笨手笨脚,过了某一道坎,竟无师自通。

泥匠阿土捏了一排泥人,模样一样,只逐个捏大些。小的那些只会笨笨搬砖;捏到某一个尺寸,怪事来了——泥人忽然自己叠起房子、排起工序,像肚里凭空多了样东西。再大些,竟还会拨算盘。没人教过它们,它们只是在某个份量上,『忽然就懂了』。

揭示

这则故事想说的概念是:能力涌现(Emergent Abilities)。

英文定义(Emergent Abilities):Capabilities that appear in larger models but are absent in smaller ones, seemingly discontinuous with scale rather than gradually improving.

它属于哪个领域:机器学习 / 系统行为(Machine Learning / System Behavior)

大模型在参数量跨越某阈值后,会表现出小模型完全不具备的新能力,这种现象被称为涌现,其机理仍是研究热点。

故事里的隐喻对应什么

  • 泥人逐个变大 → 模型规模递增
  • 只会搬砖 → 小规模模型的有限能力
  • 忽然叠房子 → 跨越阈值后的新能力
  • 没人教过 → 能力非显式编程,自发出现