蒙眼下山的人
目录 · 2
在浓雾里,他只敢顺着脚下的坡度,一小步一小步挪动。
浓雾里,一个旅人想走到山谷最低处,却看不见路。他唯一的办法,是脚尖轻点地面,感受哪边更陡,然后朝更平缓的方向挪一小步。每一步都只依赖脚下这瞬间的坡度,从不眺望远方。有时他停在坑底的平地,以为到了终点,其实只是被一小洼困住;有时他绕了很久,才慢慢贴近真正的谷底。
揭示
这则故事想说的概念是:梯度下降(Gradient Descent)。
英文定义(Gradient Descent):An iterative optimization algorithm that minimizes a function by taking repeated steps proportional to the negative gradient at the current point.
它属于哪个领域:机器学习 / 优化(Machine Learning / Optimization)
机器学习训练模型时,目标是让“损失函数”尽可能小。梯度下降就是沿着损失下降最快的方向,反复微调参数,直到收敛到较优解。
故事里的隐喻对应什么
- 浓雾与看不见的谷底 → 高维损失函数,无法直接观测全局最小值
- 脚尖感受坡度 → 计算当前参数的梯度(导数)
- 一小步一小步挪 → 学习率控制的迭代更新
- 困在坑底的小洼 → 局部最优 / 鞍点
- 绕很久才贴近谷底 → 收敛速度与路径依赖