截面与面板数据分析 · 经济学专业本科生课程
Multiple Regression · Chapter 3
本讲的核心威胁:漏掉一个"既影响 Y 又和 X 相关"的变量
两个必要条件;它如何破坏假设 1;三条出路
系数的"其他条件不变"含义;最小化 SSR;调整 R²;假设 1–4 与无偏一致
完全共线与虚拟变量陷阱;不完全共线只伤精度;单系数 t 与联合 F
二次项/对数/交互项;内部与外部有效性;五类内生性威胁与标准误问题
若回归变量与"回归中遗漏了、但对 Y 起部分决定作用"的某个变量相关,则 OLS 估计量有遗漏变量偏差(Omitted Variable Bias)。
想估计班级规模对成绩的影响,却遗漏了学生家庭经济条件。家庭条件影响成绩;而能实行小班教学的学区往往经济更发达,即家庭条件与班级规模相关。两个条件都满足 → 遗漏它会造成偏差:小班"看起来"的功劳里,混着家庭条件的功劳。
考试时间点影响成绩(上午比晚上清醒),但它与班级规模无关。遗漏它只会增大误差方差,不会造成遗漏变量偏差。
回归:成绩 对 班级规模。下面三个变量都被遗漏了。逐个判断会不会造成 OVB。
① 学生家庭经济条件 影响成绩;富裕学区更可能小班 → 与 X 相关。
② 考试时间点(上午/晚上) 影响成绩;但与班级规模无关。
③ 学区降雨量 与班级规模相关(假设);但对成绩没有影响。
两个条件:(1) 遗漏变量与回归变量相关;(2) 遗漏变量是 Y 的决定因素。同时满足才偏:① 满足两者 → 偏;② 只满足 (2) → 不偏;③ 只满足 (1) → 不偏。
遗漏变量是 Y 的决定因素 → 它实际上被包含进了误差项 ui。
该遗漏变量又与回归变量相关 → 误差项 ui 直接与 X 相关。
误差与 X 相关 → E(ui | Xi) ≠ 0,违背假设 1。
于是 OLS 不再无偏;而且这个偏差不随样本增大消失,也不一致。失去无偏和一致,估计量就失去解释价值。
β̂1 → β1 + ρXu ·σuσX
大样本下 β̂1 收敛到真值加上偏差项:ρXu 是 X 与 u 的相关系数。ρXu = 0 时偏差消失。
随机控制试验下 X 与任何遗漏变量都不相关,ρXu = 0,偏差自然消失。最理想,但常常做不了。
观测数据里最直接的思路:把与 X 相关的遗漏变量都放进模型,一元回归变成多元回归。本章主角。
有些变量不可观测(能力、教学质量),永远放不进回归。这时要靠工具变量、双重差分、断点回归——第七章的内容。
本讲的位置 出路②把我们从一元带到多元;出路③留给第七章。两条路面对的是同一个敌人:ρXu ≠ 0。
Yi = β0 + β1X1i + β2X2i + ⋯ + βkXki + ui
保持其他所有回归变量不变,Xj 每增加 1 单位,Y 平均变化 βj。多元回归的价值正在于此:它把"其他条件"控制住了。
成绩 = β0 + β1·班级规模 + β2·家庭收入 + u。此时 β1 是收入相同的学区之间,班级规模差 1 单位带来的成绩差——家庭条件的功劳被 β2 接走了。
注意 "其他条件不变"只控制放进模型的变量;没放进来的仍然留在 u 里,仍可能偏。
估计量
与一元思路相同:选择 β̂0, β̂1, …, β̂k 使 Σ ûi2 最小;预测值 Ŷi 与残差 ûi 同理可得。
调整 R²
R̄2 = 1 −SSR/(n−k−1)SST/(n−1)= 1 − (1−R2)n−1n−k−1
对"多放变量"施加惩罚:k 增大时 n−k−1 变小,惩罚变重。
往模型里加一个与 Y 无关的变量,会发生什么?(n = 100)
当前 k = 1:R² = 0.300,调整 R² = 0.293。
R² 对"多放变量"永远只增不减,哪怕加的是噪声;调整 R² 会惩罚,所以比较模型时用调整 R²。
E(ui | X1i, …, Xki) = 0。遗漏变量偏差破坏的就是它。
(X1i, …, Xki, Yi) 独立同分布,来自简单随机抽样。
所有变量四阶矩有限,极端观测不主导估计。
没有一个回归变量是其他回归变量的完全线性函数。若 X2 = 2X1 恒成立,则无法分开两者的作用,OLS 算不出来。
为什么是"完全" 多元回归怕的是完全共线(算不出);"高度"共线只是让标准误变大、估计不稳,仍然可以算——那是本节后面共线性部分的内容。
假设 1–4 成立 ⇒ β̂0, β̂1, …, β̂k 无偏且一致
大样本下 ⇒ 估计量联合正态分布,可以做 t 检验、F 检验与置信区间
联合正态意味着:不但每个系数单独近似正态,它们的任意线性组合也近似正态,于是可以同时检验多个系数(后面的 F 检验就建立在这上面)。
一个回归变量是其他回归变量的完全线性组合。此时 OLS 无法把 Y 的变化分给各个变量,估计量算不出来。
想控制地区男女比例。放了"男性比例"就不能再放"女性比例",因为 男 = 1 − 女。两者完全共线,放一个就够。
控制上海的区:16 个区做 16 个 0/1 虚拟变量,则 16 个相加恒等于 1,任一个是其余 15 个的完全线性组合。有截距时最多放 15 个,留一个作基准。
基准组的读法 放 15 个虚拟变量时,每个系数是"该区相对被省略的那个区"的差异;省略组不是"没有效应",而是比较的基准。
例:同时放"本科比例"和"平均收入",两者高度相关。拖动它们的相关系数 ρ,看 SE(β₁) 怎么被放大。
为什么方差会变大
多元系数的含义是"控制其他自变量不变"时的作用。若 X2 与 X1 高度相关,控制住 X2 之后 X1 在样本里几乎不再变化,缺少差异就估不准,方差偏大。
放大倍数(VIF)
SE(β̂1) ∝1√1 − ρ2
ρ → 1 时分母 → 0,SE 爆炸;ρ = 0 时没有放大。
—
设无共线时 SE = 0.10。注意:无偏性始终不受影响,变的只是精度。
t =β̂j − βj,0SE(β̂j) CI: β̂j ± 1.96·SE(β̂j)
对多元回归中的某一个系数做检验或置信区间,方法与一元线性回归完全一致:用它的估计值、假设值和它自己的标准误。唯一区别是这里的 SE 已经考虑了其他控制变量的存在。
H0: β1 = 0 且 β2 = 0 H1: β1 ≠ 0 或 β2 ≠ 0
"至少有一个不为 0" 是对两个系数同时施加的约束,无法用单个 t 统计量回答。
两个 t 检验各管一个系数,且忽略了 β̂1 与 β̂2 之间的相关性。分别不显著,合起来却可能显著;反之亦然。
比较"施加约束"与"不施加约束"两种模型的拟合:约束后 SSR 明显变差,说明被约束的系数联合起来有用。常用特例是"全部斜率为 0"的整体显著性检验。
二次回归
Y = β0 + β1X + β2X2 + u
对 X 求导,边际效应 = β1 + 2β2X,随 X 变化,不再是常数。
X = 2.0 时边际效应 = 3.00 仍为正但已在递减
对数转换:把水平变成百分比
ln(Y2) − ln(Y1) = ln(1 + ΔY) ≈ ΔY
当 ΔY 足够小;泰勒展开给出 100·Δln(Y) ≈ %ΔY。所以 ln Y 对 X 的系数近似"X 增加 1 单位,Y 变化百分之几"。
双对数模型 ln Y = β0 + β1 ln X + u 中,β1 直接就是弹性:X 变 1%,Y 变 β1%。
关键转变 加入非线性项后,"β 就是效应"不再成立;效应是 X 的函数,报告时必须说明在哪个 X 处。
Y = β0 + β1D + β2A + β3(D × A) + u
D = 是否小班(0/1),A = 教师能力。小班的效应 = β1 + β3A,随教师能力变化。
小班效应 = β1 + β3A = — —
示例 β1 = −0.5、β3 = 0.35:教师能力低时小班甚至帮倒忙,能力高时小班明显有效。
政策效果往往有异质性:同样的小班,配上好老师效果明显,配上准备不足的老师可能没用。只放 D 和 A 的主效应,等于假设小班的效应与教师能力无关;加入 D×A 才允许效应随条件变化。
有关因果效应的统计推断对研究总体是正确的。两个组成:估计量无偏一致;检验与置信区间达到要求的显著水平。这是本课程关注的重点。
结论能否推广到其他总体与环境。动物实验未必推广到人;某地的扶贫实验未必推广到别国。威胁来自研究总体与目标总体的差异,需在收集数据前考虑。
读论文的顺序 先问内部有效性(估计和推断对不对),再问外部有效性(结论能不能搬到我的情境)。
共同后果:X 与 u 相关 → 系数失去无偏与一致。
后果:系数可能仍无偏,但检验与置信区间失真,显著性判断错误。
对照自查 第一类用第七章的识别策略或更好的设定解决;第二类用稳健/聚类标准误解决。两类都威胁内部有效性,但药方完全不同。
这节课讲了什么
遗漏变量与 X 相关且影响 Y 才偏;机制四步链;出路三条
系数是"其他条件不变"的净作用;假设 1–4 下无偏一致、联合正态;比较模型用调整 R²
完全共线算不出(虚拟变量陷阱留基准组);不完全共线只伤精度不伤无偏
单系数 t 与 CI;联合假设 F
二次项/对数/交互项;边际效应是 X 的函数,报告要说明位置
内部/外部有效性;五类内生性 + 标准误问题,药方不同
回归:工资 对 教育年限、能力不可观测;另含交互项与类别变量。
请回答(点一下看提示):
任何回归都是对现实的简化:选哪些变量、用什么函数形式、
在哪里报告边际效应,每一步都是研究者的决定。
把这些决定交代清楚、把局限说在前面,结论才配被使用。
经世济民,学以致用。
课后思考:下一讲因变量变成"是或否"的 0/1。先想一想:把 0/1 直接当连续变量回归,最刺眼的问题会是什么?