小数点的突然开窍
目录 · 2
小的时候笨手笨脚,过了某一道坎,竟无师自通。
泥匠阿土捏了一排泥人,模样一样,只逐个捏大些。小的那些只会笨笨搬砖;捏到某一个尺寸,怪事来了——泥人忽然自己叠起房子、排起工序,像肚里凭空多了样东西。再大些,竟还会拨算盘。没人教过它们,它们只是在某个份量上,『忽然就懂了』。
揭示
这则故事想说的概念是:能力涌现(Emergent Abilities)。
英文定义(Emergent Abilities):Capabilities that appear in larger models but are absent in smaller ones, seemingly discontinuous with scale rather than gradually improving.
它属于哪个领域:机器学习 / 系统行为(Machine Learning / System Behavior)
大模型在参数量跨越某阈值后,会表现出小模型完全不具备的新能力,这种现象被称为涌现,其机理仍是研究热点。
故事里的隐喻对应什么
- 泥人逐个变大 → 模型规模递增
- 只会搬砖 → 小规模模型的有限能力
- 忽然叠房子 → 跨越阈值后的新能力
- 没人教过 → 能力非显式编程,自发出现