目前市面上能够买到的相关教科书仅有 2011 年图灵奖得主 Judea Pearl 的 Causality: Models, Reasoning, and Inference。Harvard 的统计学家 Donald Rubin 和 计量经济学家 Guido Imbens 合著的教科书历时多年仍尚未完成；Harvard 的流行病学家 James Robins 和他的同事也在写一本因果推断的教科书，本书目前只完成了第一部分，还未出版。我本人学习因果推断是从 Judea Pearl 的教科书入手的，不过这本书晦涩难懂，实在不适合作为入门的教科书。Donald Rubin 对 Judea Pearl 提出的因果图模型（causal diagram）非常反对，他的教科书中杜绝使用因果图模型。我本人虽然脑中习惯用图模型进行思考，但是还是更偏好 Donald Rubin 的风格，因为这对于入门者，可能更容易。不过这一节，先从一个例子出发，不引进新的统计符号和概念。

天才的高斯在研究天文学时，首次引进了最大似然和最小二乘的思想，并且导出了正态分布（或称高斯分布）。其中最大似然有些争议，比如 Arthur Dempster 教授说，其实高斯那里的似然，有贝叶斯或者信仰推断（fiducial inference）的成分。高斯那里的 “统计” 是关于 “误差” 的理论，因为他研究的对象是 “物理模型” 加“随机误差”。大约在 100 多年前，Francis Galton 研究了父母身高和子女身高的 “关系”，提出了“（向均值）回归” 的概念。众所周知，他用的是线性回归模型。此时的模型不再是严格意义的“物理模型”，而是“统计模型” — 用于刻画变量之间的关系，而不一定是物理机制。之后，Karl Pearson 提出了“相关系数”（correlation coefficient）。后世研究的统计，大多是关于 “相关关系” 的理论。但是关于 “因果关系” 的统计理论，非常稀少。据 Judea Pearl 说，Karl Pearson 明确的反对用统计研究因果关系；有意思的是，后来因果推断为数不多的重要文章（如 Rosenbaum and Rubin 1983; Pearl 1995）都发表在由 Karl Pearson 创刊的 Biometrika 上。下面讲到的悖论，可以说是困扰统计的根本问题，我学习因果推断便是由此入门的。

在高维列联表分析中， 有一个很有名的例子，叫做 Yule-Simpson’s Paradox。有文献称，Karl Pearson 很早就发现了这个悖论 ——也许这正是他反对统计因果推断的原因。此悖论表明，存在如下的可能性：X和Y在边缘上正相关；但是给定另外一个变量Z后，在Z的每一个水平上，X和Y都负相关。Table 1 是一个数值的例子，取自Pearl(2000)。

Table 1 中，第一个表是整个人群的数据：接受处理和对照的人都是 40 人，处理有较高的存活率，因此处理对整个人群有 “正作用”。第二个表和第三个表是将整个人群用性别分层得到的，因为第一个表的四个格子数，分别是下面两个表对应格子数的和：

奇怪的是，处理对男性有 “负作用”，对女性也有 “负作用”。一个处理对男性和女性都有 “负作用”，但是他对整个人群却有 “正作用”：悖论产生了！

有人可能会认为这种现象是由于随机性或者小样本的误差导致的。但是这个现象与样本量无关，与统计的误差也无关。比如，将上面的每个格子数乘以一个巨大的正数，上面的悖论依然存在。

纯数学的角度，上面的悖论可以写成初等数学；这并无新奇之处。但是在统计上，这具有重要的意义——变量之间的相关关系可以完全的被第三个变量 “扭曲”。更严重的问题是，我们的收集的数据可能存在局限性，忽略潜在的“第三个变量” 可能改变已有的结论，而我们常常却一无所知。鉴于 Yule-Simpson 悖论的潜在可能，不少人认为，统计不可能用来研究因果关系。

上面的例子是人工构造的，在现实中，也存在不少的实例正是 Yule-Simpson’s Paradox。比如，UC Berkeley 的著名统计学家 Peter Bickel 教授 1975 年在 Science 上发表文章，报告了 Berkeley 研究生院男女录取率的差异。他发现，总体上，男性的录取率高于女性，然而按照专业分层后，女性的录取率却高于男性 (Bickel 等 1975)。在流行病学的教科书 (如 Rothman 等 2008) 中，都会讲到 “混杂偏倚”（confounding bias），其实就是 Yule-Simpson’s Paradox，书中列举了很多流行病学的实际例子。

由于有 Yule-Simpson’s Paradox 的存在，观察性研究中很难得到有关因果的结论，除非加上很强的假定，这在后面会谈到。比如，一个很经典的问题：吸烟是否导致肺癌？由于我们不可能对人群是否吸烟做随机化试验，我们得到的数据都是观察性的数据：即吸烟和肺癌之间的相关性 （正如 Table 1 的合并表）。此时，即使我们得到了吸烟与肺癌正相关，也不能断言 “吸烟导致肺癌”。这是因为可能存在一些未观测的因素，他既影响个体是否吸烟，同时影响个体是否得癌症。比如，某些基因可能使得人更容易吸烟，同时容易得肺癌；存在这样基因的人不吸烟，也同样得肺癌。此时，吸烟和肺癌之间相关，却没有因果作用。

相反的，我们知道放射性物质对人体的健康有很大的伤害，但是铀矿的工人平均寿命却不比常人短；这是流行病学中有名的 “健康工人效应”（healthy worker effect）。这样一来，似乎是说铀矿工作对健康没有影响。但是，事实上，铀矿的工人通常都是身强力壮的人，不在铀矿工作寿命会更长。此时，在铀矿工作与否与寿命不相关，但是放射性物质对人的健康是有因果作用的。

这里举了一个悖论，但没有深入的阐释原因。阐释清楚这个问题的根本原因，其实就讲清楚了什么是因果推断。这在后面会讲到。作为结束，留下如下思考的问题：

1. Table 1 中，处理组和对照组中，男性的比例分别为多少？这对悖论的产生有什么样的影响？反过来考虑处理的 “分配机制”（assignment mechanism），计算P(Treatment∣Male)和 P(Treatment∣Female)。
2. 假如(X，Y，Z)服从三元正态分布，X和Y正相关，Y和Z正相关，那么X和Z是否正相关？（北京大学概率统计系 09 年《应用多元统计分析》期末第一题）
3. 流行病学的教科书常常会讲各种悖论，比如混杂偏倚 （confounding bias）和入院率偏倚（Berkson’s bias）等，本质上是否与因果推断有关？
   计量经济学中的 “内生性”（endogeneity）怎么定义？它和 Yule-Simpson 悖论有什么联系？

因果推断用的最多的模型是 Rubin Causal Model (RCM; Rubin 1978) 和 Causal Diagram (Pearl 1995)。Pearl (2000) 中介绍了这两个模型的等价性，但是就应用来看，RCM 更加精确，而 Causal Diagram 更加直观，后者深受计算机专家们的推崇。这部分主要讲 RCM。

设表示个体 i接受处理与否，处理取1，对照取0 (这部分的处理变量都讨论二值的，多值的可以做相应的推广)；表示个体 i的结果变量。另外记  表示个体 i接受处理或者对照的潜在结果 (potential outcome)，那么   表示个体 i 接受治疗的个体因果作用。不幸的是，每个个体要么接受处理，要么接受对照， 中必然缺失一半，个体的因果作用是不可识别的。观测的结果是 。但是，在Z做随机化的前提下，我们可以识别总体的平均因果作用 (Average Causal Effect; ACE）：

这是因为

最后一个等式表明可以由观测的数据估计出来。其中第一个等式用到了期望算子的线性性（非线性的算子导出的因果度量很难被识别！)；第二个式子用到了随机化，即

其中，表示独立性。由此可见，随机化试验对于平均因果作用的识别起着至关重要的作用。

当Y是二值的时候，平均因果作用是流行病学中常用的“风险差”（risk difference; RD）：

当然，流行病学还常用“风险比”（risk ratio; RR）：

和“优势比”（odds ratio; OR）：

上面的记号都带着“C”，是为了强调“causal”。细心的读者会发现，定义 CRR 和 COR 的出发点和 ACE 不太一样。ACE 是通过对个体因果作用求期望得到的，但是 CRR 和 COR 是直接在总体上定义的。这点微妙的区别还引起了不少人的研究兴趣。比如，经济学中的某些问题，受到经济理论的启示，处理的作用可能是非常数的，仅仅研究平均因果作用不能满足实际问题的需要。这时候，计量经济学家提出了“分位数处理作用”（quantile treatment effect: QTE）：

在随机化下，这个量也是可以识别的。但是，其实这个量并不能回答处理作用异质性（heterogenous treatment effects）的问题，因为处理作用非常数，最好用如下的量刻画：

这个量刻画的是处理作用的分布。不幸的是，估计  需要非常强的假定，通常不具有可行性。

作为结束，留下如下的问题：

1. “可识别性”（identifiability）在统计中是怎么定义的？
2. 医学研究者通常认为，随机对照试验（randomized controlled experiment）是研究处理有效性的黄金标准，原因是什么呢？随机化试验为什么能够消除 Yule-Simpson 悖论？
3.  在随机化下是可识别的。另外一个和它“对偶”的量是 Ju and Geng (2010) 提出的分布因果作用（distributional causal effect: DCE）： ，在随机化下也可以识别。
4. 即使完全随机化， 也不可识别。也就是说，经济学家提出的具有“经济学意义”的量，很难用观测数据来估计。这种现象在实际中常常发生：关心实际问题的人向统计学家索取的太多，而他们提供的数据又很有限。

关于 RCM 的版权，需要做一些说明。目前可以看到的文献，最早的是 Jerzy Neyman 于 1923 年用波兰语写的博士论文，第一个在试验设计中提出了“潜在结果”（potential outcome）的概念。后来 Donald Rubin 在观察性研究中重新（独立地）提出了这个概念，并进行了广泛的研究。Donald Rubin 早期的文章并没有引用 Jerzy Neyman 的文章，Jerzy Neyman 的文章也不为人所知。一直到 1990 年，D. M. Dabrowska 和 T. P. Speed 将 Jerzy Neyman 的文章翻译成英文发表在 Statistical Science 上，大家才知道 Jerzy Neyman 早期的重要贡献。今天的文献中，有人称 Neyman-Rubin Model，其实就是潜在结果模型。计量经济学家，如 James Heckman 称，经济学中的 Roy Model 是潜在结果模型的更早提出者。在 Donald Rubin 2004 年的 Fisher Lecture 中，他非常不满地批评计量经济学家，因为 Roy 最早的论文中，全文没有一个数学符号，确实没有明确的提出这个模型。详情请见，Donald Rubin 的 Fisher Lecture，发表在 2005 年的 Journal of the American Statistical Association 上。研究 Causal Diagram 的学者，大多比较认可 Donald Rubin 的贡献。但是 Donald Rubin 却是 Causal Diagram 的坚定反对者，他认为 Causal Diagram 具有误导性，且没有他的模型清楚。他与James Heckman （诺贝尔经济学奖）， Judea Pearl （图灵奖） 和 James Robins 之间的激烈争论，成为了广为流传的趣闻。

这部分谈到的问题非常微妙：完全随机化试验下的 Fisher randomization test 和 Neyman repeated sampling procedure。简单地说，前者是随机化检验，或者如很多教科书讲的Fisher 精确检验 （Fisher exact test）；后者是 Neyman 提出的置信区间 （confidence interval）理论。

我初学因果推断的时候，并没有细致的追求这些微妙的区别，觉得了解到简介之二的层次就够了。不过在 Guido Imbens 和 Donald Rubin 所写的因果推断教科书（还未出版）中，这两点内容放在了全书的开端，作为因果推断的引子。在其他的教科书中，是看不到这样的讲法的。平日里常常听到 Donald Rubin 老爷子对 Fisher randomization test 的推崇，我渐渐地也被他洗脑了。

Fisher 的随机化检验，针对的是如下的零假设，又被称为 sharp null： 坦白地说，这个零假设是我见过的最奇怪的零假设，没有之一。现行的统计教科书中，讲到假设检验，零假设都是针对某些参数的，而 Fisher 的 sharp null 看起来却像是针对随机变量的。这里需要讲明白的是，当我们关心有限样本 （finite sample）的因果作用时，每个个体的潜在结果  都是固定的，观测变量的随机性仅仅由于“随机化” 本身导致的。理解清楚这点，才能理解 Fisher randomization test 和后面的 Neyman repeated sampling procedure。如果读者对于这种有限样本的思考方式不习惯，可以先阅读一下经典的抽样调查教科书，那里几乎全是有限样本的理论，所有的随机性都来自于随机采样的过程。

如果认为潜在结果是固定的数，那么 Fisher sharp null 就和现行的假设检验理论不相悖。这个 null 之所以“sharp”的原因是，在这个零假设下，所有个体的潜在结果都固定了，个体的因果作用为零，唯一的随机性来自于随机化的“物理”特性。定义处理分配机制的向量为结果向量为

此时有限样本下的随机化分配机制如下定义：

其中，  为处理组中的总数。这里的“条件期望”并不是说   是随机变量，而是强调处理的分配机制不依赖于潜在结果。比如，我们选择统计量

来检验零假设，问题在于这个统计量的分布不易求出。但是，我们又知道，这个统计量的分布完全来自随机化。因此，我们可以用如下的“随机化”方法 （Monte Carlo 方法模拟统计量的分布）：将处理分配机制的向量  进行随机置换得到，计算此时的检验统计量 ；如此重复多次n不大时，可以穷尽所有的置换，便可以模拟出统计量在零假设下的分布，计算出 p 值。

有人说，Fisher randomization test 已经蕴含了 bootstrap 的思想，似乎也有一定的道理。不过，这里随机化的方法是针对一个特例提出来的。

下面要介绍的 Neyman 的方法，其实早于 Fisher 的方法。这种方法在 Neyman 1923 年的博士论文中，正式提出了。这种方法假定n个个体中有m个随机的接受处理，目的是估计（有限）总体的平均因果作用：

一个显然的无偏估计量是

但是，通常的方差估计量，

高估了方差，构造出来的置信区间在 Neyman – Pearson 意义下太“保守”。可以证明，在个体处理作用是常数的假定下，上面的方差估计是无偏的。

通常的教科书讲假设检验，都是从正态均值的检验开始。Neyman 的方法给出了 的点估计和区间估计，也可以用来检验如下的零假设：

实际中，到底是 Fisher 和零假设合理还是 Neyman 的零假设合理，取决于具体的问题。比如，我们想研究某项政策对于中国三十多个省的影响，这是一个有限样本的问题，因为我们很难想象中国的省是来自某个“超总体”。但是社会科学中的很多问题，我们不光需要回答处理或者政策对于观测到的有限样本的作用，我们更关心这种处理或者政策对于一个更大总体的影响。前者，Fisher 的零假设更合适，后者 Neyman 的零假设更合适。

关于这两种角度的争论，可以上述到 Fisher 和 Neyman 两人。1935 年，Neyman 向英国皇家统计学会提交了一篇论文“Statistical problems in agricultural experimentation”，Fisher 和 Neyman 在讨论文章时发生了激烈的争执。不过，从今天的统计教育来看，Neyman 似乎占了上风。

用下面的问题结束：

1. 在 sharp null下，Neyman 方法下构造的 T 统计量，是否和 Fisher randomization test 构造的统计量相同？分布是否相同？
2. Fisher randomization test 中的统计量可以有其他选择，比如 Wilcoxon 秩和统计量等，推断的方法类似。
3. 当Y是二值变量时，上面 Fisher 的方法就是教科书中的 Fisher exact test。在没有学习 potential outcome 这套语言之前，理解 Fisher exact test 是有些困难的。
4. 证明
   。
5. 假定n个个体是一个超总体（super-population）的随机样本，超总体的平均因果作用定义为
   
   那么 Neyman 的方法得到估计量是超总体平均因果作用的无偏估计，且方差的表达式是精确的；而 sharp null 在超总体的情形下不太适合。

这节采用和前面相同的记号。Z表示处理变量（1是处理，0是对照），Y表示结果，X表示处理前的协变量。在完全随机化试验中，可忽略性 成立，这保证了平均因果作用

可以表示成观测数据的函数，因此可以识别。在某些试验中，我们“先验的”知道某些变量与结果强相关，因此要在试验中控制他们，以减少试验的方差。在一般的有区组（blocking）的随机化试验中，更一般的可忽略性  成立，因为只有在给定协变量X后，处理的分配机制才是完全随机化的。比如，男性和女性中，接受处理的比例不同，但是这个比例是事先给定的。

在传统的农业和工业试验中，由于随机化，可忽略性一般是能够得到保证的；因此在这些领域谈论因果推断是没有太大问题的。Jerzy Neyman 最早的博士论文，就研究的是农业试验。但是，这篇写于 1923 年的重要统计学文章，迟迟没有得到统计学界的重视，也没有人将相关方法用到社会科学的研究中。1970 年代，Donald Rubin 访问 UC Berkeley 统计系，已退休的 Jerzy Neyman 曾问起：为什么没有人将潜在结果的记号用到试验设计之外？正如 Jerzy Neyman 本人所说 “without randomization an experiment has little value irrespective of the subsequent treatment（没有随机化的试验价值很小）”，人们对于观察性研究中的因果推断总是抱着强烈的怀疑态度。我们经常听到这样的声音：统计就不是用来研究因果关系的！

在第一讲 Yule-Simpson 悖论的评论中，有人提到了哲学（史）上的休谟问题（我的转述）：人类是否能从有限的经验中得到因果律？这的确是一个问题，这个问题最后促使德国哲学家康德为调和英国经验派（休谟）和大陆理性派（莱布尼兹-沃尔夫）而写了巨著《纯粹理性批判》。其实，如果一个人是绝对的怀疑论者（如休谟），他可能怀疑一切，甚至包括因果律，所以，康德的理论也不能完全“解决”休谟问题。怀疑论者是无法反驳的，他们的问题也是无法回答的。他们存在的价值是为现行一切理论起到警示作用。一般来说，统计学家不会从过度哲学的角度谈论问题。从前面的说明中可以看出，统计中所谓的“因果”是“某种”意义的“因果”，即统计学只讨论“原因的结果”，而不讨论“结果的原因”。前者是可以用数据证明或者证伪的；后者是属于科学研究所探索的。用科学哲学家卡尔·波普的话来说，科学知识的积累是“猜想与反驳”的过程：“猜想”结果的原因，再“证伪”原因的结果；如此循环即科学。

下面谈到的是，在什么样的条件下，观察性研究也可以推断因果。这是一切社会科学所关心的问题。答案是：可忽略性，即 。在可忽略性下，ACE可以识别，因为

从上面的公式来看，似乎我们的任务是估计两个条件矩E{Y|X, Z=z}(z=0,1). 这就是一个回归问题。不错，这也是为什么通常的回归模型被赋予“因果”含义的原因。如果我们假定可忽略性和线性模型  成立，那么 就表示平均因果作用。线性模型比较容易实现，实际中人们比较倾向这种方法。但是他的问题是：（1）假定个体因果作用是常数；（2）对于处理和对照组之间的不平衡（unbalance）没有很好的检测，常常在对观测数据外推（extrapolation）。

上面的第二条，是线性回归最主要的缺陷。在 Donald Rubin 早期因果推断的文献中，推崇的方法是“匹配”（matching）。一般来说，我们有一些个体接受处理，另外更多的个体接受对照；简单的想法就是从对照组中找到和处理组中比较“接近”的个体进行匹配，这样得出的作用，可以近似平均因果作用。“接近”的标准是基于观测协变量的，比如，如果某项研究，性别是唯一重要的混杂因素，我们就将处理组中的男性和对照组中的男性进行匹配。但是，如果观测协变量的维数较高，匹配就很难实现了。现有的渐近理论表明，匹配方法的收敛速度随着协变量维数的增高而线性的衰减。

后来 Paul Rosenbaum 到 Harvard 统计系读 Ph.D.，在 Donald Rubin 的课上问到了这个问题。这就促使两人合作写了一篇非常有名的文章，于 1983 年发表在 Biometrika 上：“The central role of the propensity score in observational studies for causal effects”。倾向得分定义为  容易验证，在可忽略性下，它满足性质  （在数据降维的文献中，称之为“充分降维”，sufficient dimension reduction） 和 （给定倾向得分下的可忽略性）。根据前面的推导，显然有 ACE=E[E(Y|e(X), Z=1)]-E[E(Y|e(X),Z=0)] 。此时，倾向得分是一维的，我们可以根据它分层 （Rosenbaum 和 Rubin 建议分成 5 层），得到平均因果作用的估计。连续版本的分层，就是下面的加权估计：

不过，不管是分层还是加权，第一步我们都需要对倾向得分进行估计，通常的建议是 Logistic 回归。甚至有文献证明的下面的“离奇”结论：使用估计的倾向得分得到平均因果作用的估计量的渐近方差比使用真实的倾向得分得到的小。

熟悉传统回归分析的人会感到奇怪，直接将 Y对 Z和 X做回归的方法简单直接，为何要推荐倾向得分的方法呢？确实，读过 Rosenbaum 和 Rubin 原始论文的人，一般会觉得，这篇文章很有意思，但是又觉得线性回归（或者 logistic 回归）足矣，何必这么复杂？在因果推断中，我们应该更加关心处理机制，也就是倾向得分。按照 Don Rubin 的说法，我们应该根据倾向得分来“设计”观察性研究；按照倾向得分将人群进行匹配，形成一个近似的“随机化试验”。而这个设计的过程，不能依赖于结果变量；甚至在设计的阶段，我们要假装没有观察到结果变量。否则，将会出现如下的怪现象：社会科学的研究者不断地尝试加入或者剔除某些回归变量，直到回归的结果符合自己的“故事”为止。这种现象在社会科学中实在太普遍了！结果的回归模型固然重要，但是如果在 Y模型上做文章，很多具有“欺骗性”的有偏结果就会出现在文献中。这导致大多数的研究中，因果性并不可靠。

讲到这里，我们有必要回到最开始的 Yule-Simpson’s Paradox。用Z表示处理（1表示处理，0表示对照），Y表示存活与否（1是表示存活，0表示死亡），X表示性别（1表示男性，0表示女性）。目前我们有处理“因果作用”的两个估计量：一个不用性别进行加权调整

另一个用性别进行加权调整（由于此时协变量是一维的，倾向得分和协变量本身存在一一对应，用倾向得分调整结果相同，见下面问题 1）

其中，表示相应的矩估计。是否根据性别进行调整，对结果有本质的影响。当  时， 第一个估计量是因果作用的相合估计；当 时，第二个估计量是因果作用的相合估计。根据实际问题的背景，我们应该选择哪个估计量呢？到此为止，回答这个问题有些似是而非（选择调整的估计量？），更进一步的回答，请听下回分解：因果图（causal diagram）。

作为结束，留下如下的问题：

1. 如果X是二值的变量（如性别），那么匹配或者倾向的分都导致如下的估计量:
   这个公式在流行病学中非常基本，即根据混杂变量进行分层调整。在后面的介绍中将讲到，这个公式被 Judea Pearl 称为“后门准则”（backdoor criterion）。
2. 倾向得分的加权形式，
   
   本质上是抽样调查中的 Horvitz-Thompson 估计。在流行病学的文献中，这样的估计量常被称为“逆概加权估计量”（inverse probability weighting estimator; IPWE）。
3. 直观上，为什么估计的倾向得分会更好？想想偏差和方差的权衡（bias-variance tradeoff）。

这部分介绍 Judea Pearl 于 1995 年发表在 Biometrika 上的工作 “Causal diagrams for empirical research”，这篇文章是 Biometrika 创刊一百多年来少有的讨论文章，Sir David Cox，Guido Imbens, Donald Rubin 和 James Robins 等人都对文章作了讨论。由于 Judea Pearl 最近刚获得了图灵奖，我想他的工作会引起更多的关注（事实上计算机界早就已经过度的关注了）。

一、 有向无环图和 do 算子

为了避免过多图论的术语，这里仅仅需要知道有向图中“父亲”和“后代”的概念：有向箭头上游的变量是“父亲”，下游的变量是“后代”。在一个有向无环图（Directed Acyclic Graph；DAG）中，记所有的节点集合为 。这里用  表示连续变量的密度函数和离散变量的概率函数。有两种观点看待一个 DAG：一是将其看成表示条件独立性的模型；二是将其看成一个数据生成机制。当然，本质上这两种观点是一样的。在第一种观点下，给定 DAG 中某个节点的“父亲”节点，它与其所有的非“后代”都独立。根据全概公式和条件独立性，DAG 中变量的联合分布可以有如下的递归分解：

其中表示的“父亲”集合，即所有指向的节点集合。

Figure 1: An Example of Causal Diagram

例子：在 Figure 1 中，联合分布可以分解成为

如果将 DAG 看成一个数据生成机制，那么它和下面的非参数结构方程模型是等价的：

注意，这个联立方程组是“三角的”（triangular）或者“递归的”（recursive），因为 DAG 中没有环，方程组中也就没有反馈。计量经济学中的联立方程组模型 （simultaneous equation model: SEM），并不在这个讨论的框架下。DAG 用于描述数据的生成机制，而不常用于描述系统均衡时的状态；后者主要是 SEM 的目的。这样描述变量联合分布或者数据生成机制的模型，被称为“图模型”或者“贝叶斯网络”（Bayesian network）。

显然，一个有向无环图唯一地决定了一个联合分布；反过来，一个联合分布不能唯一地决定有向无环图。反过来的结论不成立，对我们的实践有很重要的意义，比如 Figure 2 中的两个有向无环图，原因和结果不同，图的结构也不同；但是，我们观测到的联合分布可以有两种分解和因此，我们从观测变量的联合分布，很难确定“原因”和“结果”。在下一节图模型结构的学习中，我们会看到，只有在一些假定和特殊情形下，我们可以从观测数据确定“原因”和“结果”。

用一个 DAG 连表示变量之间的关系，并不是最近才有的。图模型也并不是 Judea Pearl 发明的。但是，早期将图模型作为因果推断的工具，成果并不深刻，大家也不太清楚仅仅凭一个图，怎么能讲清楚因果关系。教育、心理和社会学中常用的结构方程模型（structural equation model: SEM），就是早期的尝试；甚至可以说 SEM 是因果图的先驱。（注意，这里出现的两个 SEM 表示不同的模型！）

DAG 中的箭头，似乎表示了某种“因果关系”。但是，要在 DAG 上引入“因果”的概念，则需要引进 do 算子，do 的意思可以理解成“干预” （intervention）。没有“干预”的概念，很多时候没有办法谈因果关系。在 DAG 中 （也可以记做 ），表示如下的操作：将  中指向  的有向边全部切断，且将  的取值固定为常数 . 如此操作，得到的新  的联合分布可以记做  可以证明，干预后的联合分布为

请注意， 和  在绝大多数情况下是不同的。

例子：考虑如下的两个 DAG：

在 Figure 2 (1) 中，有。由于是的“原因”，“条件”和“干预”，对应的的分布相同。但是在 Figure 2 (2) 中，有. 由于是的“结果”，“条件”（或者“给定”）“结果”，“原因”的分布不再等于他的边缘分布，但是人为的“干预”“结果”，并不影响“原因”的分布。

根据 do 算子，便可以定义因果作用。比如二值的变量  对于  的平均因果作用定义为

上面 do 算子下的期望，分别对应 do 算子下的分布。这样在 do 算子下定义的因果模型，被已故计量经济学家 Halbert White 称为 Pearl Causal Model (PCM; White and Chalak 2009)。Pearl 在其书中写到：

“I must take the opportunity to acknowledge four colleagues who saw clarity shining through the do(x) operator before it gained popularity: Steffen Lauritzen, David Freedman, James Robins and Philip David. Phil showed special courage in pringting my paper in Biometrika, the journal founded by causality’s worst adversary – Karl Pearson.” (Pearl, 2000)

在书中 Pearl 论述了 RCM 和 PCM 的等价性，即

其中，表示潜在结果。要想说明两个模型的等价性，可以将潜在结果嵌套在 DAG 所对应的数据生成机制之中，所有的潜在结果都由这个非参数结构方程模型产生：

其中，表示除去的父亲节点。上面的方程表示：将的值强制在时，DAG 系统所产生的值。这个意义下，do 算子导出的结果，就是“潜在结果”。

二、 d分离，前门准则和后门准则

在上面的叙述中，如果整个 DAG 的结构已知且所有的变量都可观测，那么我们可以根据上面 do 算子的公式算出任意变量之间的因果作用。但是，在绝大多数的实际问题中，我们既不知道整个 DAG 的结构，也不能将所有的变量观测到。因此，仅仅有上面的公式是不够的。

下面，我将介绍 Judea Pearl 提出的“后门准则”（backdoor criterion）和“前门准则”（frontdoor criterion）。这两个准则的意义在于：（1）某些研究中，即使 DAG 中的某些变量不可观测，我们依然可以从观测数据中估计出某些因果作用；（2）这两个准则有助于我们鉴别“混杂变量”和设计观察性研究。

下面的讨论中，“可识别性”这个概念将被频繁的使用。因果推断中的识别性，和传统统计中的识别性定义是一致的。统计中，如果两个不同的模型参数，对应不同的观测数据的分布，那么我们称模型的参数可以识别。这里，如果因果作用可以用观测数据的分布唯一的表示，那么我们称因果作用是可以识别的。

前门准则和后门准则，都涉及了 d 分离（d-seperation）的概念。

定义（d 分离）: 设 ，， 是 DAG 中不相交的节点集合， 为一条连接  中某节点到  中某节点的路径 （不管方向）。如果路径  上某节点满足如下的条件：

1. 在路径  上， 点处为  结构 （或称冲撞点，collider），且  及其后代不在  中；
2. 在路径  上， 点处不是  结构，且  在  中,

那么称  阻断 (block) 了路径 。进一步，如果  阻断了 到  的所有路径，那么称  d 分离  和 ，记为 。

下面介绍 Pearl (1995) 的主要工作：后门准则和前门准则。

后门准则：在 DAG 中，如果如下条件满足：

1.  中节点不能是  的后代；
2.  阻断了之间所有指向  的路径（这样的路径可以称为后门路径）；

则称变量的集合相对于变量的有序对满足后门准则。进一步，若相对于变量的有序对满足后门准则，其中  和 是和中的任意节点；那么称变量的集合相对于节点集合的有序对满足后门准则。

Pearl (1995) 证明，若存在一个变量集合相对于满足后门准则，那么到的因果作用是可以识别的，且

为了理解因果图的概念，下面的简短证明是很有必要的。

证明：在 Figure 3 (a) 中，

从上面可以看出，上面的后门准则和可忽略性假定下 ACE 的识别公式一样：都是用  做调整 (adjustment)，先分层再加权求和。这条结论在 Rosenbaum and Rubin (1983) 之后提出，且流行病学家也都用这样的调整方法控制混杂因素，因此对很多统计学家和流行病学家来说并不新奇。比较新颖的结论是下面的前门准则。

前门准则：在 DAG 中，称节点的集合  相对于有序对  满足前门准则，如果

1.  切断了所有  到  的直接路径；
2.  到  没有后门路径；
3. 所有  到  的后门路径都被  阻断。

此时，如果，则到的因果作用可识别，为

证明：Figure 3 (b) 中蕴含了条件独立性，将在推导中用到：。

这个前门路径看似很难理解，证明似乎很不直观，恰似变魔术。但是它其实是很显然的，在前门路径的 DAG 中，我们有：（1）X对Z的因果作用可识别，因为Y阻断了它们之间的后门路径；（2）Z对Y的因果作用可识别，因为X阻断了他们的后门路径；（3）X对Y的作用，仅仅通过Z而产生。这三点蕴含着X对Y的因果作用可识别——这样看来，这个结论就不奇怪了！

Pearl 在书中讲了一个非常有趣的例子，来说明前门准则的用处。

例子：我们关心吸烟和肺癌之间的因果关系。由于一个潜在的不可观测的基因  的存在，吸烟和肺癌之间有一条“活”的后门路径，因此不借助其他的条件，我们无法识别吸烟与肺癌的因果关系。如果我们有这样的知识“吸烟  仅仅通过肺部烟焦油的含量  来影响肺癌  ”，那么吸烟对肺癌的因果作用就可以估计出来了。不过，这里需要两个条件，也就是在证明中使用的两个条件独立性，他们表明：（1）吸烟   和肺部烟焦油的含量   之间没有“活”的后门路径（或者没有混杂因素）；（2）吸烟  对肺癌  的作用仅仅来源于吸烟  对肺部烟焦油  的作用，或者说，吸烟  对肺癌  没有“直接作用”。

例子：在 Figure 1 的 DAG 中， 之间的后门路径被  或者  阻断，而前门路径被  阻断。上面的两个准则表明，要识别从  到  的因果作用，我们不需要观测到所有的变量，只需要观测到切断后门路径或者前门路径的变量即可。

三、 回到 Yule-Simpson’s Paradox

在第一节中，我们看到了经典的 Yule-Simpson’s Paradox。记  为处理（吃药与否）；  为结果（存活与否），  是用于分层的变量（在最开始的例子中，  是性别；在这里我们先将  简单地看成某个用于分层的变量）。悖论存在，是因为  和  正相关；但是按照 的值分层后，  和  负相关。分，还是不分？—–这是一个问题！这在实际应用是非常重要的问题。

不过，仅仅从“相关”（association）的角度讨论这个问题，是没有答案的。从“因果”（causation）的角度来看，才能有确切的回答。解释 Yule-Simpson’s Paradox，算是因果图的第一个重要应用。

下面，我将以上面的 Figure 4 中的四个图为例说明，三个变量之间的关系的复杂性。

图（a）：根据后门准则，  阻断了  到  的后门路径，因此，根据  做调整可以得到  对 的因果作用。如果实际问题符合图（a），那么我们需要用调整后的估计量。

图（b）： 是 的“后代”且是  的“父亲”。很多地方称，此时  处于  到  的因果路径上。直观的看，如果忽略 ，那么  和  之间的相关性就是   对   的因果作用，因为  和  之间的后门路径被空集阻断，我们无须调整。如果此时我们用  进行调整，那么得到的是  到  的“直接作用”。不过，什么是“直接作用”，我们将会在后面讨论；这里只是给一个形象的名字。

图（c）：和图（b）相同，  和  之间的相关性就是因果作用。但是，复杂性在于  和  之间有一个共同的但是不可观测的原因 。此时，不调整的相关性，是一个因果关系的度量。但是，如果我们用  进行调整，那么给定  后， 和  相关， 和  之间的后门路径被打通，我们得到的估计量不再具有因果的含义。这种现象发生的原因是， 之间形成了一个 结构：虽然  和 之间是独立的，但是给定  之后， 和  不再独立。

图（d）：这个图常常被 Judea Pearl 用来批评 Donald Rubin，因为它存在一个有趣的  结构。在这个图中，由于  结构的存在， 和  之间的后门路径被空集阻断，因此  和  之间的相关性就是因果性。但是由于  结构的存在，当我们用  进行调整的时候，  和  之间打开了一条“通路”（它们不再独立），因此  和  之间的后门路径被打通，此时  和  之间的相关性不再具有因果的含义。

我个人认为，因果图是揭开 Yule-Simpson’s Paradox 神秘面纱的有力工具。正如 Judea Pearl 在他的书中写到，不用因果的语言来描述这个问题，我们是讲不清楚这个悖论的。当然，因果的语言不止因果图，Judea Pearl 的解释始终不能得到 Donald Rubin 的认可。

四、 讨论

用一个图来描述变量之间的因果关系，是很自然和直观的事情。但是，这并不意味着 Pearl 的理论是老妪能解的。事实上，这套基于 DAG 的因果推断的语言，比传统的 Neyman-Rubin 模型要晦涩很多。DAG 在描述因果关系的时候，常常基于很多暗含的假定而并不明说，这也是 DAG 并没有被大家完全接受的原因。传统的因果推断的语言，开始于 Jerzy Neyman 的博士论文；Donald Rubin 发展这套“潜在结果”的语言，并将它和缺失数据的理论联系在一起，成为统计界更多使用的语言。

在实际中，人们对于图模型的批评从未中断。主要的问题集中在如下的方面：

1. 现实的问题，是否能用一个有向无环图表示？大多数生物学家看到 DAG 的反应是“能不能用图表示反馈？”的确，DAG 作为一种简化的模型，在复杂系统中可能不完全适用。要想将 DAG 推广到动态的系统，或者时间序列中，还有待研究。
2. Pearl 引入的 do 算子，是他在因果推断领域最主要的贡献。所谓 “do”，就是“干预”，Pearl 认为干预就是从系统之外人为的控制某些变量。但是，这依赖于一个假定：干预某些变量并不会引起 DAG 中其他结构的变化。这个假定常常会受到质疑，但是质疑归质疑，Pearl 的这个假定虽然看似很强，但根据观测数据却不可检验。这种质疑并不是 Pearl 的理论独有的缺陷，这事实上是一切研究的缺陷。比如，我们用完全随机化试验来研究处理的作用，我们要想将实验推广到观察性的数据或者更大的人群中去，也必须用到一些不可验证的假定。
3. 很多人看了 Pearl 的理论后就嘲笑他：难道我们可以在 DAG 中干预“性别”？确实，离开了实际的背景，干预性别似乎是不太合理的。那这个时候，根据 Pearl 的 do算子得到的因果作用意味着什么呢？可以从几个方面回答这个问题。
   • 很多问题，我们不能谈论“干预性别”，也不能谈论“性别”的“因果作用”。“性别”的特性是“协变量”（covariate），对于这类变量（如身高、肤色等），谈论因果作用不合适，因为我们不能想象出一个可能的“实验”，干预这些变量。
   • 上面的回答基于“实验学派”（experimentalists’）的观点，认为不可干预，就没有“因果”。但是，如果认为只要有数据的生成机制，就有因果关系，那么算出性别的因果作用也不奇怪。（计量经就学一直有争议，以 Joshua Angrist、Guido Imbens 等为首的“实验派”，和以 James Heckman 为首的“结构方程模型”派，有过很激烈的讨论。）
   • 有些问题中性别的因果作用是良好定义的。比如，我们可以人工的修改应聘者简历上的名字（随机的使用男性和女性名字），便可以研究性别对于求职的影响，是否存在性别歧视等等（已有研究使用过这种实验设计）。
4. 一个更为严重的问题是，实际工作中，我们很难得到一个完整的 DAG，用于阐述变量之间的因果关系或者数据生成机制，使得 DAG 的应用受到的巨大的阻碍。不过，从观测数据学习 DAG 的结构，确实是一个很有趣且重要的问题，这留待下回分解。

在结束时，留些一些思考的问题：

• 在何种意义下，后门准则的条件，等价于可忽略性，即 ？
• 在第一节的 Yule-Simpson’s Paradox 中，我们最终选择调整的估计量，还是不调整的估计量？

为了介绍工具变量，我们首先要从线性模型出发。毫无疑问，线性模型是理论和应用统计（包括计量经济学和流行病学等）最重要的工具；对线性模型的深刻理解，可以说就是对一大半统计理论的理解。下面的第一部分先对线性模型，尤其是线性模型背后的假设做一个回顾。

一、线性回归和最小二乘法

Yi=α+βDi+εi,i=1,⋯,n.(1)