民调为何无法预测川普胜选美国总统？

Did we all believe Clinton would win because of bad data, or did we ignore bad data because we believed Clinton would win? -- The Atlantic

作者： 陈强，山东大学经济学院  (c) 2016

www.econometrics-stata.com

美国大选的意外结果让许多人大跌眼镜，尤其是美国媒体、知识精英与民调机构。川普（Donald Trump）大胜希拉里（Hilary Clinton）被一致认为是 “stunning upset”。在很长时期内，民调均认为希拉里领跑川普，而将川普视为 “underdog”（参见下图）。

全国民调（National Polls）

即使到了大选前夜，几乎所有民调也依然认为希拉里将获胜（参见下图）。几大民调机构（包括 FiveThirtyEight 网站，New York Times Upshot，Princeton Election Consortium）均认为希拉里胜选的概率介于 70% 至 99% 之间。

Source: NYTimes

民调作为一个行业在美国已有一百多年的历史，为何2016年的美国总统民调如此不准确？首先的一个怀疑对象是美国奇特的选举人制度（Electoral College）。

选举人制度（Electoral College）

全国民调与大选结果未必相符，因为美国总统大选结果并不取决于多数票（popular votes），而取决于选举人票数（electoral votes）。

美国开国元老们所制定的选举人制度始于1804年，规定每个州根据其国会议员人数（2名参议员 + 众议员人数）而得到相应的选举人票数（参见下图），而该州的胜者通常可获得此州的全部选举人票（仅 Maine 与 Nebraska 例外，可分割选举人票）。

Source: Wikipedia

由于所有州，无论人口多寡，均可同样得到对应于2名参议员的选举人票，故对于小州更为有利，可以平衡大州与小州的政治影响力。事实上，小州的人均选举人票数可以达到大州的数倍之多，参见下图。

Source: Wikipedia

各州民调（State Polls）

然而，即使是由各州民调加总得到的总统选举预测，其结果依然很差。这是因为，各个州的民调通常历史更短，质量参差不齐（甚至更差），尤其在选情胶着的所谓 “摇摆州”（swing states）更是倾向于低估川普的支持率（参见下图）。比如，民调认为川普将在威斯康辛州落后希拉里5 .4%，但实际结果川普反超 1% 而获得该州的选举人票。

Source: FiveThirtyEight.com

民调究竟出了什么问题，为何如此不准确？

在理论上，民调无非是要估计总统候选人的支持率。给定一个投票人的总体，假定只有两个候选人（忽略得票极少的其它独立候选人，比如 Gary Johnson），则民调只是要估计总体的一个参数，比如在总体中支持希拉里的比例为 p， 则支持川普的比例为 (1- p)。然而，在实践中估计 p 为何如此困难？

随机样本

根据统计学理论，为了准确估计 p , 首先需要得到总体的一个随机样本（random sample），即要求总体中每位个体被抽中的概率均相等（同分布），而公民甲被抽中的概率不影响公民乙被抽中的概率（相互独立），称为 “独立同分布” （independently and identically distributed，简记 iid）。但在实践中，要从1亿多美国选民的总体中得到有代表性的随机样本绝非易事。

传统上，民调机构一般使用电话簿进行随机抽样。在美国，一般家庭的固定电话（land line）号码都会在黄页上公开发布，故很容易从中随机选取家庭电话号码，然后进行电话访谈。

然而，随着手机的兴起与普及，许多美国人只有手机而没有固话，这增加了在样本中包括这部分人群的难度。而且，美国法律禁止自动拨打手机号码（手机接听电话可能收费），更增加了人工拨号访谈的成本。

无应答偏差（Nonresponse Bias）

更为重要的是，由于来电显示（caller ID）与留言机（answering machines）的普及，愿意配合回答民调的应答率（response rate）不断下降，近年来仅剩10%左右。这不仅会增大民调成本（为得到1千人的样本，约需拨打1万人），更可能导致系统性偏差。

这是因为，如果应答的10%人群与不应答的90%人群存在系统差异，则将使得样本丧失代表性而导致偏差，称为 “无应答偏差”（Nonresponse Bias）。更糟糕的是，这种偏差并不会随着样本容量的增加而消失，因为增加的那部分样本同样存在偏差。

在2016年的美国大选中，由于受过高等教育的城市居民多支持希拉里，而未受高等教育的乡镇居民则多支持川普；如果前者更踊跃接听访谈电话（或许城里人习惯于积极处理电话信息），则无应答偏差很可能高估希拉里的支持率。

当然，民调机构也采取了一些补救措施，比如，根据选民的人口结构（demographics，包括种族、性别、党派、教育背景等）对抽样结果进行加权，以使得样本更具代表性。这种方法类似于 “分层抽样”（stratified sampling），但也会引入新的不确定性，因为人口结构本身也在变化，而民调机构仅确切地知道2012年的选民结构。

应答偏差（Response Bias）

即使应答的那部分受访者也可能出现偏差，即所谓 “应答偏差”（Response Bias）。所有民调均基于一个基本假设，即受访者会讲真话。但心理学研究表明，受访人在面对真人访谈时（面对面或电话访谈），可能会隐藏其真实想法，尤其当他们的内心想法与社会主流不一致时。

这就导致了媒体普遍猜测的 “隐藏的川普支持者”（hidden Trump supporters）或 “害羞的川普投票者”（shy Trump voters）。由于川普并非道德楷模，其风流韵事及对少数族裔与妇女的歧视为媒体广泛渲染，使得受访者可能羞于承认支持 “如此不堪” 的川普，导致民调低估川普的支持率。比如，民调机构 Susquehanna Polling & Research Inc. 指出，当它使用语音留言（recorded voice）进行机器自动访谈时，川普的支持率比人工访谈更高。

这种偏差在政治学上称为 “布莱德利效应”（the Bradley effect）或 “社会期许偏差”（social desirability bias）。早在1982年，洛杉矶黑人市长 Tom Bradley 竞选加州州长，虽然大多数民调一直显示 Bradley 大幅领先，但却最终败选。

事后研究表明，白人投票给 Bradley 的比例明显低于民调显示的比例，这或许是由于一些白人选民隐藏了其不愿投票给黑人候选人的偏好。

应答偏差（Response Bias）的另一来源是，访谈（或问卷）的倾向性措辞甚至问题顺序，都可能影响访谈结果。基于美国民调业已发展一百多年，理应相当专业成熟，这种偏差或可忽略不计。

变化的总体

民调的另一困难是，所研究的总体（population）也是不确定的。真正起作用的总体其实是在大选那天，实际参加投票的选举人群体。

但在事前，并不确切知道谁会去投票。如果考察 “登记选民”（registered voters），就会遗漏那些较迟登记的选民，而美国有些州甚至允许选民在投票当天登记（same day registration）。如果考察 “可能的选民”（likely voters），则这些可能选民未必一定投票，而其他人也可能最后决定去投票。

由于投票人总体无法确定，民调机构一般会估计不同人群参与投票的意愿与概率（即所谓 turnout model），然后根据此结果对民调结果进行加权。

然而，如果所用的 turnout model 与真实的投票率不符，也会导致民调结果偏差。例如，通常认为民主党的动员能力很强，有着强大的 “turnout machine”，但此次民主党的投票率却并不高。或许由于希拉里是老面孔，无法激起选民的投票激情？

民调预测 vs.天气预报

在某种意义上，民调预测与天气预报类似。天气预报以今天的气象信息预测明天的天气。尽管气象观测手段已十分先进，而气象模型也日益复杂，但天气预报的结果有时难免差强人意。这或许是因为，气象的本质就是不断变化，而变化的方向与力度并不易判断。

类似地，民调也是以历史信息预测大选日的投票结果，而选民的投票意愿与选择都随时可变。一种猜想是，由于川普曾被一些共和党党内人士所唾弃，而这些共和党人士在走进投票亭时，或许突然良心发现，自己其实还是更忠于共和党的。

民调对竞选结果的影响

不准确的民调对竞选结果是否有影响吗？这个问题很难回答，因为只有一个竞选结果，且无法进行重复实验。但在理论上，确实存在这种可能性。比如，民众可能更倾向于选择民调领先的候选人，即所谓 “从众效应” 或 “花车效应”（bandwagon effect）。另一方面，民众也可能因同情而支持民调落后的弱者，即所谓 “underdog effect”。但这两种效应相互抵消，故可能不重要。

另一种可能性是，民调影响了候选人的竞选策略。由于民调一直显示希拉里在多数摇摆州处于领先位置，这可能使得希拉里竞选团队过于自信，而忽略了在这些摇摆州的广告投入与造势活动。另一方面，不按常理出牌的川普反而可能因此得利。川普一直认为民调被操纵（rigged），即便到了选战最后阶段，也依然 “非理性” 地跑到传统上倾向民主党的州去拉票，这或许又歪打正着了。

未来的民调

此次大选使得美国民调机构几乎全军覆没，自然给予美国民调业沉重的打击，也降低了民众对于民调结果的信任感。然而，民众对于大选民调的需求将长期存在，因为人们总是渴望有一个数字能概括总统候选人的相对优劣（尽管此数字可能不靠谱）。

另一方面，经历此次挫折，或许能刺激美国民调业的成长与创新。我们拭目以待四年以后的美国大选民调又将上演一场怎样的大戏。

届时，另类的川普将向世人证明他或是一位伟大的总统，或是一位糟糕的总统，而几乎不可能是一位平庸的总统。

新闻链接请扫码

1.除特别声明外，本网站资源来自网络上已发表内容，本网站不拥有其所有权。如引用，请注明原始出处；如有侵权，请来邮或来电告知，本网站将立即更正。

2.本网站属于非盈利的学术性网站,网上资源仅供对中国社会治理及相关内容感兴趣的用户学习讨论使用，所刊载文章不代表本站观点，亦不含任何商业目的。

3.本网站不保证为用户提供方便而添加的文章来源的准确性和完整性。