致知录
第 XXXIV 卷 · 第 89 篇 · Concept Fables · 1970.01.01

更大的网,捞得更多

概念寓言 · 1970.01.01 · 1 分钟阅读 · 289 字
目录 · 2
只要织得够大、喂得够多,收获竟平稳地变好。

老渔人试出一个怪门道:网织大十倍、出海多十趟,捞回的鱼并不只多十倍,而是顺着一条滑溜的曲线稳步往上爬,鲜有意外。他不必另学绝技,只管把网一岁岁织大、把船一年年开远,收成便乖乖贴着那条线往上走。规模自己会替他长本事。旁人笑他死力气,他只咧嘴:『我不比谁巧,只比谁肯把网织得更大。』

揭示

这则故事想说的概念是:缩放定律(Scaling Laws)。

英文定义(Scaling Laws):Empirical relationships showing that a model’s error decreases as a predictable power-law function of its size, data, and compute.

它属于哪个领域:机器学习 / 经验规律(Machine Learning / Empirical Scaling)

大模型研究中,测试误差随参数量、数据量、算力的增加而按幂律下降,这一经验规律指导了算力投入决策。

故事里的隐喻对应什么

  • 网织大十倍 → 模型参数量增大
  • 撒的次数 → 训练数据 / 算力增加
  • 平滑提升的曲线 → 幂律下降的损失
  • 不必换技法 → 规模本身带来能力提升