致知录
第 XXXIV 卷 · 第 91 篇 · Concept Fables · 1970.01.01

后知后觉的顿悟

概念寓言 · 1970.01.01 · 1 分钟阅读 · 253 字
目录 · 2
他先死记硬背撑过考试,许久后才真正懂了。

学徒阿呆抱着题库死练,头几个月只会背答案,换道题照样错,师傅直摇头。可阿呆不撒手,天天练。某个清晨他睁眼,忽然一下看清了题底下的门道——往后生题摊开,他也能解了。那种『迟来的开窍』,藏在漫长发霉的重复之后,来得毫无声响。

揭示

这则故事想说的概念是:顿悟式泛化(Grokking)。

英文定义(Grokking):A phenomenon where a model suddenly transitions from memorizing training data to genuine generalization after a long period of overfitting.

它属于哪个领域:机器学习 / 泛化现象(Machine Learning / Generalization)

在小型网络中观察到:模型先完美记住训练集却毫无泛化,训练很久后突然“开窍”学会规律。grokking 揭示泛化可能滞后出现。

故事里的隐喻对应什么

  • 背熟答案 → 过拟合训练集
  • 换题仍错 → 缺乏泛化
  • 漫长重复 → 延长的训练期
  • 忽然看清道理 → 迟来的泛化跃迁