致知录
第 XXXIV 卷 · 第 83 篇 · Concept Fables · 1970.01.01

蒙眼下山的人

概念寓言 · 1970.01.01 · 1 分钟阅读 · 328 字
目录 · 2
在浓雾里,他只敢顺着脚下的坡度,一小步一小步挪动。

浓雾里,一个旅人想走到山谷最低处,却看不见路。他唯一的办法,是脚尖轻点地面,感受哪边更陡,然后朝更平缓的方向挪一小步。每一步都只依赖脚下这瞬间的坡度,从不眺望远方。有时他停在坑底的平地,以为到了终点,其实只是被一小洼困住;有时他绕了很久,才慢慢贴近真正的谷底。

揭示

这则故事想说的概念是:梯度下降(Gradient Descent)。

英文定义(Gradient Descent):An iterative optimization algorithm that minimizes a function by taking repeated steps proportional to the negative gradient at the current point.

它属于哪个领域:机器学习 / 优化(Machine Learning / Optimization)

机器学习训练模型时,目标是让“损失函数”尽可能小。梯度下降就是沿着损失下降最快的方向,反复微调参数,直到收敛到较优解。

故事里的隐喻对应什么

  • 浓雾与看不见的谷底 → 高维损失函数,无法直接观测全局最小值
  • 脚尖感受坡度 → 计算当前参数的梯度(导数)
  • 一小步一小步挪 → 学习率控制的迭代更新
  • 困在坑底的小洼 → 局部最优 / 鞍点
  • 绕很久才贴近谷底 → 收敛速度与路径依赖