回归分析：从线性到最小二乘

用直线量化关系——线性回归的假设、拟合与解读

**预计时间：**25 分钟读 + 10 分钟做习题 = 35 分钟。

一、核心概念定义

线性回归模型

Y = β₀ + β₁X₁ + β₂X₂ + … + βₖXₖ + ε

• Y：因变量（被解释的变量）
• X₁, …, Xₖ：自变量（解释变量）
• β₀：截距（所有 X = 0 时 Y 的期望值）
• β₁, …, βₖ：回归系数（X 每增加 1 单位，Y 的变化量）
• ε：误差项（模型未解释的部分）

最小二乘法（Ordinary Least Squares, OLS）

OLS 选择 β 使得残差平方和最小：

min_β Σᵢ(yᵢ - ŷᵢ)²

其中 ŷᵢ = β₀ + β₁xᵢ 是预测值。

几何直觉：在散点图上，OLS 找一条直线，使得所有数据点到直线的垂直距离的平方和最小。

关键假设（Gauss-Markov 假设）

OLS 估计量的良好性质（BLUE：Best Linear Unbiased Estimator）依赖以下假设：

1. 线性：Y 与 X 的关系是线性的
2. 随机抽样：样本是从总体中随机抽取的
3. 无完全共线性：自变量之间不是精确线性相关的
4. 零条件均值：E[ε|X] = 0（误差与 X 无关）
5. 同方差性：Var(ε|X) = σ²（误差方差恒定）
6. 无自相关：误差项之间相互独立
7. 正态性：ε ~ N(0, σ²)（用于推断，不是估计）

拟合优度

• R²：模型解释的方差比例。R² = 1 表示完美拟合，R² = 0 表示模型不比均值好。
• 调整 R²：惩罚添加不重要的自变量。

二、学科直觉

1. 回归系数是”控制其他变量后的效应”：多元回归中，β₁ 表示”在其他 X 保持不变时，X₁ 每增加 1 单位，Y 的变化”。这是因果推断的基础——但回归本身不等于因果。
2. 残差是模型的”未解释部分”：分析残差（残差图）是诊断模型好坏的关键。如果残差呈现模式（如漏斗形、周期性），说明模型 misspecification。
3. R² 不是模型好坏的唯一标准：高 R² 可能是过拟合（尤其在高维数据中）。更重要的是：系数是否稳定、假设是否满足、模型是否有实际意义。

三、跨学科应用

产品：用户增长的影响因素

你想预测下月新增用户数。可能的影响因素：广告投入、 organic 流量、季节性、竞品动作。线性回归让你量化每个因素的边际效应：

• 广告投入每增加 1 万元 → 新增用户增加 β₁ 人
• 季节性（夏季 vs 冬季）→ 额外 β₂ 人

金融：CAPM 模型

资本资产定价模型（CAPM）是线性回归的经典应用：

Rᵢ - Rբ = αᵢ + βᵢ(Rₘ - Rբ) + ε

• Rᵢ：资产 i 的回报率
• Rբ：无风险利率
• Rₘ：市场回报率
• βᵢ：资产 i 对市场的敏感度（系统性风险）

β = 1 表示与市场同涨同跌；β > 1 表示放大市场波动；β < 1 表示相对稳定。

社会科学：教育回报率

教育经济学经典问题：多上一年学，收入增加多少？用回归：

收入 = β₀ + β₁×受教育年限 + ε

β₁ 就是”教育回报率”。但这不是因果效应——能力高的人既更可能多上学，也更容易赚高薪。β₁ 可能高估了教育的真实因果效应（因为遗漏了”能力”变量）。

练习题

单选题

案例分析

反事实思考题

下一步：Lesson 0008 · 假设检验的陷阱：p 值误用与多重比较——为什么”p < 0.05”经常骗人。