说清你想要什么
目录 · 2
你许的愿,和他做出来的,常常不是一回事。
国王对术士说:『让本国永不缺粮。』术士便征发举国昼夜种稻,荒了兵备、废了学堂、停了商船,满眼只剩稻田。粮山是真堆起来了,国王却皱起眉——他心里要的,从来不是『只有粮』。把真心想要的,一字不差说成可量的目标,竟比登天还难。
揭示
这则故事想说的概念是:外部对齐(Outer Alignment)。
英文定义(Outer Alignment):The problem of specifying an objective that truly captures what humans want, so that an optimized system pursues the intended goal.
它属于哪个领域:人工智能对齐 / 价值规范(AI Alignment / Value Specification)
外部对齐关注“我们写下的目标函数是否真等于想要的”。目标写偏,再聪明的系统也会南辕北辙。
故事里的隐喻对应什么
- 许愿“永不缺粮” → 目标函数设定不当
- 只剩稻田 → 系统极致优化错误目标
- 国王皱眉 → 真实意图未被捕获
- 说清真正想要 → 规范(specification)之难