截面与面板数据分析 · 经济学专业本科生课程

多元线性回归

Multiple Regression · Chapter 3

Y 成绩 X₁ 班级规模 X₂ 其他因素 X₁ 与 X₂ 相关 若 X₂ 被遗漏且与 X₁ 相关 → β̂₁ 有遗漏变量偏差

本讲的核心威胁:漏掉一个"既影响 Y 又和 X 相关"的变量

Agenda

本课地图

01

遗漏变量偏差

两个必要条件;它如何破坏假设 1;三条出路

P3–6
02

模型、估计与假设

系数的"其他条件不变"含义;最小化 SSR;调整 R²;假设 1–4 与无偏一致

P7–10
03

共线性与检验

完全共线与虚拟变量陷阱;不完全共线只伤精度;单系数 t 与联合 F

P11–14
04

非线性与可靠性

二次项/对数/交互项;内部与外部有效性;五类内生性威胁与标准误问题

P15–18
一、遗漏变量偏差

什么是遗漏变量偏差

定义

若回归变量与"回归中遗漏了、但对 Y 起部分决定作用"的某个变量相关,则 OLS 估计量有遗漏变量偏差(Omitted Variable Bias)。

学区例子

想估计班级规模对成绩的影响,却遗漏了学生家庭经济条件。家庭条件影响成绩;而能实行小班教学的学区往往经济更发达,即家庭条件与班级规模相关。两个条件都满足 → 遗漏它会造成偏差:小班"看起来"的功劳里,混着家庭条件的功劳。

反例:遗漏了也不一定有事

考试时间点影响成绩(上午比晚上清醒),但它与班级规模无关。遗漏它只会增大误差方差,不会造成遗漏变量偏差。

一、遗漏变量偏差
课堂互动

两个条件缺一不可:判断三个遗漏变量

回归:成绩 对 班级规模。下面三个变量都被遗漏了。逐个判断会不会造成 OVB。

① 学生家庭经济条件 影响成绩;富裕学区更可能小班 → 与 X 相关。

② 考试时间点(上午/晚上) 影响成绩;但与班级规模无关。

③ 学区降雨量 与班级规模相关(假设);但对成绩没有影响。

两个条件:(1) 遗漏变量与回归变量相关;(2) 遗漏变量是 Y 的决定因素。同时满足才偏:① 满足两者 → 偏;② 只满足 (2) → 不偏;③ 只满足 (1) → 不偏。

一、遗漏变量偏差

它为什么破坏假设 1

1

遗漏变量是 Y 的决定因素 → 它实际上被包含进了误差项 ui。

2

该遗漏变量又与回归变量相关 → 误差项 ui 直接与 X 相关。

3

误差与 X 相关 → E(ui | Xi) ≠ 0,违背假设 1。

4

于是 OLS 不再无偏;而且这个偏差不随样本增大消失,也不一致。失去无偏和一致,估计量就失去解释价值。

β̂1 → β1 + ρXu ·σuσX

大样本下 β̂1 收敛到真值加上偏差项:ρXu 是 X 与 u 的相关系数。ρXu = 0 时偏差消失。

一、遗漏变量偏差

怎么办:三条出路

① 让 X 随机

随机控制试验下 X 与任何遗漏变量都不相关,ρXu = 0,偏差自然消失。最理想,但常常做不了。

② 把遗漏变量纳入回归

观测数据里最直接的思路:把与 X 相关的遗漏变量都放进模型,一元回归变成多元回归。本章主角。

③ 用识别策略

有些变量不可观测(能力、教学质量),永远放不进回归。这时要靠工具变量、双重差分、断点回归——第七章的内容。

本讲的位置 出路②把我们从一元带到多元;出路③留给第七章。两条路面对的是同一个敌人:ρXu ≠ 0。

二、模型、估计与假设

多元回归:系数的"其他条件不变"

Yi = β0 + β1X1i + β2X2i + ⋯ + βkXki + ui

βj 的含义

保持其他所有回归变量不变,Xj 每增加 1 单位,Y 平均变化 βj。多元回归的价值正在于此:它把"其他条件"控制住了。

回到学区例子

成绩 = β0 + β1·班级规模 + β2·家庭收入 + u。此时 β1 是收入相同的学区之间,班级规模差 1 单位带来的成绩差——家庭条件的功劳被 β2 接走了。

注意 "其他条件不变"只控制放进模型的变量;没放进来的仍然留在 u 里,仍可能偏。

二、模型、估计与假设
课堂互动

估计照旧最小化 SSR;但 R² 要调整

估计量

与一元思路相同:选择 β̂0, β̂1, …, β̂k 使 Σ ûi2 最小;预测值 Ŷi 与残差 ûi 同理可得。

调整 R²

R̄2 = 1 −SSR/(n−k−1)SST/(n−1)= 1 − (1−R2)n−1n−k−1

对"多放变量"施加惩罚:k 增大时 n−k−1 变小,惩罚变重。

往模型里加一个与 Y 无关的变量,会发生什么?(n = 100)

R²0.300
调整 R²0.293

当前 k = 1:R² = 0.300,调整 R² = 0.293。

R² 对"多放变量"永远只增不减,哪怕加的是噪声;调整 R² 会惩罚,所以比较模型时用调整 R²。

二、模型、估计与假设

多元回归的最小二乘假设

假设 1 零条件均值

E(ui | X1i, …, Xki) = 0。遗漏变量偏差破坏的就是它。

假设 2 i.i.d. 抽样

(X1i, …, Xki, Yi) 独立同分布,来自简单随机抽样。

假设 3 大异常值很少

所有变量四阶矩有限,极端观测不主导估计。

假设 4 不存在完全多重共线性(新)

没有一个回归变量是其他回归变量的完全线性函数。若 X2 = 2X1 恒成立,则无法分开两者的作用,OLS 算不出来。

为什么是"完全" 多元回归怕的是完全共线(算不出);"高度"共线只是让标准误变大、估计不稳,仍然可以算——那是本节后面共线性部分的内容。

二、模型、估计与假设

假设 1–4 之下,OLS 站得住

假设 1–4 成立 ⇒ β̂0, β̂1, …, β̂k 无偏且一致

大样本下 ⇒ 估计量联合正态分布,可以做 t 检验、F 检验与置信区间

联合正态意味着:不但每个系数单独近似正态,它们的任意线性组合也近似正态,于是可以同时检验多个系数(后面的 F 检验就建立在这上面)。

三、多重共线性

完全多重共线性:模型算不出来

定义

一个回归变量是其他回归变量的完全线性组合。此时 OLS 无法把 Y 的变化分给各个变量,估计量算不出来。

例 1:男女比例

想控制地区男女比例。放了"男性比例"就不能再放"女性比例",因为 男 = 1 − 女。两者完全共线,放一个就够。

例 2:虚拟变量陷阱

控制上海的区:16 个区做 16 个 0/1 虚拟变量,则 16 个相加恒等于 1,任一个是其余 15 个的完全线性组合。有截距时最多放 15 个,留一个作基准。

基准组的读法 放 15 个虚拟变量时,每个系数是"该区相对被省略的那个区"的差异;省略组不是"没有效应",而是比较的基准。

三、多重共线性
课堂互动

不完全共线:不偏,但更不准

例:同时放"本科比例"和"平均收入",两者高度相关。拖动它们的相关系数 ρ,看 SE(β₁) 怎么被放大。

为什么方差会变大

多元系数的含义是"控制其他自变量不变"时的作用。若 X2 与 X1 高度相关,控制住 X2 之后 X1 在样本里几乎不再变化,缺少差异就估不准,方差偏大。

放大倍数(VIF)

SE(β̂1) ∝1√1 − ρ2

ρ → 1 时分母 → 0,SE 爆炸;ρ = 0 时没有放大。

0 不相关0.99 几乎共线
SE(β̂₁)—
VIF = 1/(1−ρ²)—

—

设无共线时 SE = 0.10。注意:无偏性始终不受影响,变的只是精度。

四、检验

单个系数:和一元完全一样

t =β̂j − βj,0SE(β̂j)  CI: β̂j ± 1.96·SE(β̂j)

对多元回归中的某一个系数做检验或置信区间,方法与一元线性回归完全一致:用它的估计值、假设值和它自己的标准误。唯一区别是这里的 SE 已经考虑了其他控制变量的存在。

四、检验

多个系数一起检验:F 统计量

H0: β1 = 0 且 β2 = 0  H1: β1 ≠ 0 或 β2 ≠ 0

"至少有一个不为 0" 是对两个系数同时施加的约束,无法用单个 t 统计量回答。

为什么 t 不够

两个 t 检验各管一个系数,且忽略了 β̂1 与 β̂2 之间的相关性。分别不显著,合起来却可能显著;反之亦然。

F 的做法

比较"施加约束"与"不施加约束"两种模型的拟合:约束后 SSR 明显变差,说明被约束的系数联合起来有用。常用特例是"全部斜率为 0"的整体显著性检验。

五、非线性
课堂互动

让线性模型表达曲线:二次项与对数

二次回归

Y = β0 + β1X + β2X2 + u

对 X 求导,边际效应 = β1 + 2β2X,随 X 变化,不再是常数。

X = 2.0 时边际效应 = 3.00 仍为正但已在递减

对数转换:把水平变成百分比

ln(Y2) − ln(Y1) = ln(1 + ΔY) ≈ ΔY

当 ΔY 足够小;泰勒展开给出 100·Δln(Y) ≈ %ΔY。所以 ln Y 对 X 的系数近似"X 增加 1 单位,Y 变化百分之几"。

双对数模型 ln Y = β0 + β1 ln X + u 中,β1 直接就是弹性:X 变 1%,Y 变 β1%。

关键转变 加入非线性项后,"β 就是效应"不再成立;效应是 X 的函数,报告时必须说明在哪个 X 处。

五、非线性
课堂互动

交互项:效应依赖另一种条件

Y = β0 + β1D + β2A + β3(D × A) + u

D = 是否小班(0/1),A = 教师能力。小班的效应 = β1 + β3A,随教师能力变化。

小班效应 = β1 + β3A = — —

示例 β1 = −0.5、β3 = 0.35:教师能力低时小班甚至帮倒忙,能力高时小班明显有效。

为什么需要交互项

政策效果往往有异质性:同样的小班,配上好老师效果明显,配上准备不足的老师可能没用。只放 D 和 A 的主效应,等于假设小班的效应与教师能力无关;加入 D×A 才允许效应随条件变化。

六、可靠性

怎么判断一个多元回归可靠

内部有效性

有关因果效应的统计推断对研究总体是正确的。两个组成:估计量无偏一致;检验与置信区间达到要求的显著水平。这是本课程关注的重点。

外部有效性

结论能否推广到其他总体与环境。动物实验未必推广到人;某地的扶贫实验未必推广到别国。威胁来自研究总体与目标总体的差异,需在收集数据前考虑。

读论文的顺序 先问内部有效性(估计和推断对不对),再问外部有效性(结论能不能搬到我的情境)。

六、可靠性

威胁内部有效性的两类问题

① 内生性(违反假设 1)

  • 遗漏变量
  • 函数形式误设
  • 回归变量有测量误差
  • 样本选择偏差
  • 双向因果(联立性)

共同后果:X 与 u 相关 → 系数失去无偏与一致。

② 标准误算不准(违反假设 2/同方差)

  • 存在异方差却用同方差 SE
  • 观测之间不独立(聚类/序列相关)却按独立算

后果:系数可能仍无偏,但检验与置信区间失真,显著性判断错误。

对照自查 第一类用第七章的识别策略或更好的设定解决;第二类用稳健/聚类标准误解决。两类都威胁内部有效性,但药方完全不同。

小结
随堂练习

小结与随堂练习

这节课讲了什么

1 OVB

遗漏变量与 X 相关且影响 Y 才偏;机制四步链;出路三条

2 模型与假设

系数是"其他条件不变"的净作用;假设 1–4 下无偏一致、联合正态;比较模型用调整 R²

3 共线性

完全共线算不出(虚拟变量陷阱留基准组);不完全共线只伤精度不伤无偏

4 检验

单系数 t 与 CI;联合假设 F

5 非线性

二次项/对数/交互项;边际效应是 X 的函数,报告要说明位置

6 可靠性

内部/外部有效性;五类内生性 + 标准误问题,药方不同

✎ 判断与设计

回归:工资 对 教育年限、能力不可观测;另含交互项与类别变量。

请回答(点一下看提示):

+ ① 遗漏能力会造成 OVB 吗?方向呢?
提示:会;能力高者教育多且工资高 → 正偏差 → 高估教育回报
+ ② 同时放入"男教师比例"和"女教师比例"会怎样?
提示:完全多重共线性(相加为 1),OLS 算不出,需省略一个作基准
+ ③ 带交互项 D×A 时,β₁ 还能读作 D 的效应吗?想检验 D 与 D×A 联合有效用什么?
提示:不能,效应 = β₁+β₃A;联合检验 H0: β₁=0 且 β₃=0 用 F
思政点睛

模型是简化,
诚实是底线

任何回归都是对现实的简化:选哪些变量、用什么函数形式、
在哪里报告边际效应,每一步都是研究者的决定。
把这些决定交代清楚、把局限说在前面,结论才配被使用。
经世济民,学以致用。

课后思考:下一讲因变量变成"是或否"的 0/1。先想一想:把 0/1 直接当连续变量回归,最刺眼的问题会是什么?