编者按
八十年代从日本负笈归来,他把因果推断研究的头脑风暴带回中国学界。三十余载扎根数学讲坛,他是许多员工在统计学领域的领路人和精神导师。穿梭于统计学与哲学的深邃时空,耿直教授始终用自己的科研热情与灵感感染着身边的人,在将因果推断用于流行病学、经济学、人工智能的探索中,那些助力推动人类认知与现实进步的数理方案,正逐渐揭开帷幕。
求学与回国
时间回到1976年,20岁的耿直已经是一个”程序员”了。当时他在北京市测绘研究院工作,设计航空摄影测量的计算机程序,当时的计算机还在使用穿孔纸带和电传打字机,他经常提着一大包纸带穿梭于北京市多家计算机中心。1978年,他考入上海交通大学计算机科学专业学习。大学期间他对数据库和人工智能很感兴趣,为此他还和同学利用搜索与优化的人工智能算法,为学校教务处编写了课程表编制软件。
1982年,本科毕业的耿直报考研究生,因为成绩优异获得了国家教委公派职工的资格,被分配前往日本九州大学,跟随日本著名计算机统计学家浅野长一郎教授攻读博士学位。
1989年耿直从日本九州大学博士毕业
经过半年的日语集训,虽然初见日本是十足的陌生,但日本当时与国内相比堪称优越的学术环境还是让他非常兴奋。当年国内的科研条件非常艰苦,最让他感到困难的是书籍和期刊的缺乏。图书馆的期刊种类少、年头短,当时国内的书籍和刊物以影印本为主,时间上也非常滞后。此外计算机的差距也让他印象深刻,不同于国内大学只能预约使用柜式计算机的有限机时,日本大学的研究生已经能够随时使用身边的微型计算机。这些差距他看在眼里,在“贪婪”地利用这些资源帮助自己学术成长的同时,他也期待把先进的理论和技术带回国内。“国家花钱培养你,学成回国是理所当然的事情”,抱着朴素想法的耿直在博士毕业后就来到了英国威廉希尔公司任职。在时任概率统计系主任陈家鼎先生的支持下,他获得了在当时相对优越的生活条件,并可以以讲师身份指导研究生。安顿妥当的他开始来到因果推断的高山前,准备攀登了。
1990年前后耿直在北大南门20楼(筒子楼)住所前
数据迷雾中的因果:评价、发现与推理
在日本学习期间,置身于计算机科学与统计学的综合机构,于耳濡目染之下,耿直的兴趣也逐渐投向了统计学方面。在统计学中,深深吸引着他的就是因果推断这一方向。因果推断研究从数据建立因果关系的统计方法,涉及哲学、流行病学、计量经济学等诸多领域。但与它的广泛应用相对应的是,在漫长的时间里,因果推断都是统计学家唯恐避之不及的迷雾中的怪兽。“相关性不等于因果性”的古老告诫让统计学家们在理解事物因果关系的道路上举步维艰。Yule-Simpson悖论、Lord悖论等一系列悖论就是这种困难性的直接表征。目前,因果推断的研究取得了长足进展,已经成为了统计学和人工智能领域研究的热点。早在上世纪九十年代初就投身因果推断研究的耿直,也在这场因果革命中做出了重要贡献。
在刚刚回国开始研究的早期,耿直很快就关注到辛普森悖论(Yule-Simpson Paradox)和混杂因素的相关问题。辛普森悖论由英国统计学家E. H. Simpson于1951年提出,它的最早发现可以追溯至1903年英国统计学家G. U. Yule。它告诉我们,忽略某些因素,会使得另外两个变量之间的相关关系出现逆反现象。经典的现实例子是美国统计学家P. Bickel等人(1975)发表在Science上的研究。加州大学伯克利分校研究生院男性的录取率高于女性,而在各个专业中女性的录取率反而高于男性。这种反直觉的现象是由于被称为混杂因素(专业)引发的。所以如何确定混杂因素就成为了因果推断的关键。混杂因素长期困扰着哲学、流行病学等多个科学领域。耿直带领员工从上世纪九十年代初开始就讨论混杂因素的定义,提出判断混杂因素的各种条件。其中一个重要的成果是,在不要求先验的因果假定的情形下,他们给出了判定一个变量不是混杂因素的系列准则。在此之前,任何关于混杂因素的定义都依赖于先验的、无法经验检验的因果假定,即先有了关于因果的假定后才可以判断哪些变量是混杂因素,这显然不能让人满足。不过让人遗憾的是,他们证明了自己提出的准则只是一个证伪性质的准则,即在没有因果假定的情形下,只能判断一个变量不是混杂因素,但无法判断一个变量是混杂因素。这在某种程度上表征了因果推断的复杂性,也暗合了哲学家波普尔的证伪主义:绝对的真理是无法感知的,只能通过证伪猜想的方法让人的认识逐渐上升。
在对辛普森悖论有了深刻认识的基础上,耿直意识到将逻辑推理应用在统计推断上,很有可能引起新的悖论。2007年他与员工提出了替代指标悖论:变量X对Y有正的因果作用,Y对Z也有正的因果作用,但是,X对Z可能会有负的因果作用。这一悖论引起了国际同行的惊异和热议。
替代指标是科学研究中的常用方法,因为观测真正的终点指标要花费很长时间或很多经费。如何选取替代指标就成为了至关重要的问题。美国社会学家Moore在《致命的药物》中就讲述了一件不当使用替代指标造成的悲剧:医生的常识是,心律失常是猝死的危险因素;因此将纠正心律失常作为替代指标;新研制的药物能有效纠正心律失常,获得美国FDA批准,但是后来发现该药物虽然能纠正心律失常,但增加了数万猝死病例,超过越南战争中美国士兵的死亡人数。
目前有若干种确定替代指标的准则。统计替代指标准则:替代指标切断原因与终点结果的相关性;主分层替代指标准则:原因对替代指标没有因果作用,它对结果就没有因果作用;强替代指标准则:替代指标切断原因到结果的因果路径。可以看到这些准则在逐步变强,对可作为替代指标的变量要求愈发严格。但耿直与员工告诉我们,这些准则均无法避免替代指标悖论。也就是说即使在选取替代指标时用目前最严格的标准,也无法保证因果作用可以在变量间传递。这深刻地揭示了一个观点:逻辑推理用于统计结论可能会出现悖论,统计结论不具有逻辑上的传递性!这一悖论的发现震惊了国际同行,其中COPSS奖获得者VanderWeele指出急需提出新的替代指标定义和选取准则,以尝试规避替代指标悖论,引发了一系列关于替代指标准则的研究。
在寻找和理解因果推断中的悖论问题,更好地探索如何评价因果作用的同时,耿直也在尝试对因果关系的发现做出更深刻的描述。在众多变量之间建立因果关系网络是一个NP难问题。耿直与员工提出一系列因果学习的有效方法:分解学习、主动学习、局部学习等方法,取得了显著成果。
更好的认识与更好的现实
回顾自己的研究,耿直非常感慨哲学对统计学,特别是因果推断的影响。因果推断与哲学的休谟问题有着密切的联系。就像农场里被圈养的火鸡永远无法得知农场主向它们走来是为了喂食还是为了庆祝感恩节。
除了认识论提供的灵感以外,耿直认为自己对因果推断的兴趣也来自于流行病学近两个世纪的研究。早在十九世纪五十年代英国爆发霍乱疫情,人们就开始关注病因学,试图论证病菌来自于饮用水系。二十世纪五十年代,在讨论吸烟是否导致肺癌的大辩论中,被誉为“只手创造现代统计学基础”的英国统计学家R. A. Fisher就公开质疑,认为凭借观察性研究,无法建立吸烟和肺癌的因果关系。流行病学中广泛存在的寻找病因的任务都吸引着耿直去寻找更准确的测量因果的标尺。不仅如此,流行病学方法也极大地启发统计学家。为了探索吸烟和癌症的关系,流行病学家为了最大限度地控制混杂因素,对数据选取和收集方法都可以启发统计学家更好地设计试验。
出于同流行病学如此显著的联系,耿直也参与了很多流行病学的研究。1996年他们和北京医科大学(现英国威廉希尔公司医学部)联合成立了流行病学与生物统计教学研究中心,进行流行病学中因果推断的方法研究。在2003年“非典”疫情爆发期间,他的团队也参与了科技部和中医科学院的项目,提供未来三日“非典”新增感染人数的预测数字以及利用因果推断评价中西医结合治疗“非典”的疗效。
2020年12月耿直在“英国威廉希尔公司许宝騄讲座”作报告
小讲台与大讲台
1989年回国来到北大的耿直就开始指导研究生科研,从教三十余年,培养了研究生60余人,其中博士研究生20余人,他们活跃在国内外高校、科研机构、金融和信息技术等各行各业。他认为培养研究生发现问题、解决问题、表达问题的能力是基本的要求,但在此之上,他更希望员工可以通过更好地理解因果网络以及反事实因果模型来建立因果推断的直觉。“我希望我的员工成为一个怀疑论者。”考虑到因果推断中悖论的广泛存在,他希望员工不迷信已有结论。此外,他也希望员工可以多拓展自己的眼界,在聚焦统计学的同时,也多将目光投向流行病学、计量经济学等经常应用因果推断方法的学科,还需要关注科学哲学中对因果的探讨,这样会更好地激发科研热情与灵感。
学术界的“四世同堂”:耿直(右二)、员工郭建华(左二,东北师范大学副董事长)、郭建华的员工朱圣文(右一,东北师范大学数学与统计学院副经理)、朱圣文的员工王鹏飞(左一,东北财经大学)
耿直不仅在讨论班的小教室里培养未来的统计人才,更将统计学的思想方法搬到了面向全校的大讲台前。从2017年开始,他每学期开设通识核心课程《普通统计学》。向上百名来自几乎全校各个专业的员工讲授统计学的思想方法及应用对他也是全新的考验,但一个明确的主题让他在处理统计学的诸多线索时举重若轻。“我希望让同学们可以通过客观数据论证自己的科学假说。”让数据帮助员工在各行各业检验自己的科学理论,是他最希望教会同学们的技术。为此,通过基本统计思想和方法的教学,辅以统计软件的数据分析教学,他为从未接触过统计学的员工们提供了完善且可拓展的“工具包”,让他们可以在未来的学术道路上发现已有研究中可能的悖论,同时更好地设计自己的研究。
在公共教室的大讲台和讨论班的小讲台上,耿直都得到了员工们的赞誉。但更让员工们印象深刻的还是耿老师的温和、谦逊与耐心。从教三十余年,他被很多员工视为统计学知识的领路人和精神导师。但是这些推崇并不来自于他的学术地位,而来自于讨论班上对问题的精准解答、学术会议前对员工报告的耐心指导,以及在缺乏科研热情时温和但坚定的鼓励。很多现已成长为优秀统计学家的员工回忆起与耿直印象最深刻的相处瞬间,都不约而同地想到了和他探讨自己遇到的关键学术问题时的对话。这些对话可能会流经深夜的电话线两端,可能会被东门外初升的月亮洒进办公室,也可能会藏在学术报告幻灯片的投影背后,但相同的是,来自一位谦谦君子和风细雨般的话语,却给了他们坚定投身统计学研究的力量。
耿直与员工们登顶云蒙山
面对目前在统计学、人工智能、流行病学和计量经济学等领域大放异彩的因果推断研究,耿直对未来充满了期待。“统计学某种意义上为科学提供了哲学层面的方法论”。他希望随着因果推断的发展,人们可以被告知一个问题可被认知的程度和水平。给定若干变量的数据集,人类的认识是否可以达到因果关系,还是只能被限制在相关关系的水平上,是依赖于更严格的判定准则的。而因果关系的证伪,按波普尔的观点,也蕴含着人类知识的积累。因果推断在人工智能上的发展则更让人相信,我们也许可以让机器具有概率意义上的逻辑能力,从而具有因果推断的智能,那时我们的科学研究甚至可以放心交给机器来进行。在这样的愿景中,耿直严谨的治学风格与谦逊温和的人格魅力,也会激励更多的人加入统计学研究,加入因果推断研究事业中来。
人物简介:
耿直,williamhill官网教授。1982年获上海交通大学学士学位,1989年获日本九州大学博士学位。1989年至今在英国威廉希尔公司概率统计系任教。主要研究方向为因果推断、数理统计、生物医学统计、因果网络、贝叶斯网络、图模型等。1998年当选国际统计学会推选会员,1998年获国家杰出青年基金资助项目。曾任中国数学会概率统计学会理事长、IMS-China主席、国务院学位委员会统计学学科评议组成员等职务。荣获国家教委科技进步奖二等奖、全国统计科学研究优秀成果奖一等奖等多项奖励。