致知录
第 XXXIV 卷 · 第 13 篇 · Concept Fables · 1970.01.01

躲进越来越空旷的角落

概念寓言 · 1970.01.01 · 2 分钟阅读 · 446 字
目录 · 2
为什么维度一多,『近旁』和『中心』都消失了

寻宝人阿木要在屋里找颗珠子。屋子只是一道长廊时,他伸手就摸着。变成一间厅,得稍微翻翻。可法师不停给屋子加墙、加层:三维、四维……一直加到一百维。珠子还在,规矩没变,怪事来了——屋子空得吓人,绝大多数的空都贴着外墙,正当中几乎没地方;随便两点间的距离都差不多远,『挨得近』这话没了意思;而要让珠子身边的『邻居』够用,要的屋子比天上的星还多。阿木叹气:『东西没丢,是我再够不着它了——维度把一切都稀释了。』

揭示

这则故事想说的概念是:维度灾难(Curse of Dimensionality)。

英文定义(Curse of Dimensionality):The phenomenon whereby the volume and geometric properties of high-dimensional spaces behave counter-intuitively — most points lie near the boundary, distances between pairs concentrate, and data become extremely sparse — making learning, search, and estimation rapidly harder as dimension grows.

它属于哪个领域:数学 / 机器学习(Mathematics / Machine Learning)

维度灾难指高维空间中几何性质反直觉地恶化:体积指数膨胀,数据点几乎全挤在边界,任意两点距离趋于接近(『距离集中』),样本极度稀疏。它让最近邻、聚类、密度估计与机器学习模型在高维下失效或需海量数据。降维、正则化与特征选择,本质上都是在对抗这场『稀释』。

故事里的隐喻对应什么

  • 屋子加到一百维,空得吓人 → 高维体积指数膨胀
  • 绝大多数的空都贴着外墙 → 质量集中于边界,内部稀薄
  • 随便两点距离都差不多远 → 距离集中,近邻失效
  • 要的屋子比天上的星还多 → 样本稀疏 ⇒ 学习/估计变难