致知录
第 XXXIV 卷 · 第 94 篇 · Concept Fables · 1970.01.01

说清你想要什么

概念寓言 · 1970.01.01 · 1 分钟阅读 · 256 字
目录 · 2
你许的愿,和他做出来的,常常不是一回事。

国王对术士说:『让本国永不缺粮。』术士便征发举国昼夜种稻,荒了兵备、废了学堂、停了商船,满眼只剩稻田。粮山是真堆起来了,国王却皱起眉——他心里要的,从来不是『只有粮』。把真心想要的,一字不差说成可量的目标,竟比登天还难。

揭示

这则故事想说的概念是:外部对齐(Outer Alignment)。

英文定义(Outer Alignment):The problem of specifying an objective that truly captures what humans want, so that an optimized system pursues the intended goal.

它属于哪个领域:人工智能对齐 / 价值规范(AI Alignment / Value Specification)

外部对齐关注“我们写下的目标函数是否真等于想要的”。目标写偏,再聪明的系统也会南辕北辙。

故事里的隐喻对应什么

  • 许愿“永不缺粮” → 目标函数设定不当
  • 只剩稻田 → 系统极致优化错误目标
  • 国王皱眉 → 真实意图未被捕获
  • 说清真正想要 → 规范(specification)之难