Survival bias

話說，三間大學就 2017 年行政長官選舉方法所作的聯合滾動民意調查公布了新一輪結果，支持與反對通過所謂政改方案的比率剛好都是 42.8%。公民黨湯家驊議員接受一眾傳媒訪問時表示，「我聽到這個消息，都有點驚訝，因為從數學上來看，真是剛剛找到雙方的人數都是完全對稱一樣，其實我相信那個機會是幾百萬分之一也說不定。」

湯議員這個奇異的觀點，很快就受到不少網民質疑，其中有一名為 Andrew Wong 的數學老師於 Facebook 刊登了一封公開信，反駁湯家驊的說法，而湯議員亦頗有風度地於自己的 Facebook 轉載了該信件，並大方認錯。

不幸地，儘管湯家驊的觀點的確是錯的，但 Andrew Wong 的反駁本身也搞錯了。至於前者因為後者錯誤的反駁而承認自己真的犯錯這個做法對不對，我就不清楚了。

無論如何，姑且簡略看一看 Andrew Wong 的反駁有何錯處，以及湯家驊的想法實際有甚麼謬誤。

不幸的反駁

文抄公一下，Andrew Wong 的論點如下：

三大民調的樣本數目, 大約為1100人, 如果只計贊成和反對的人數, 每次均為900多人. 那麼每天公佈結果時, 可以出現贊成和反對的組合, (由1:899, 2:898, 3:897.....數到899:1), 就只有900多個, 加上贊成和反對的比例長期維持35-50%上下, 從未離開過這個範圍, 即有可能出現的結果只有一百多個, 每個結果只有約1/150的機會出現, 絕非閣下認為的幾百萬份之一.

政改民調由四月至今公布了逾30次, 加上近幾日支持度下降反對度上升的趨勢, 在結果符合趨勢的情況下, 碰上今天出現兩者打和的局面, 在數學上絕不是罕有現象, 我希望你如果明白我以上解釋的話, 可以公開澄清一下.

湯家驊誤以為今次正反雙方的人數一樣，而 Andrew Wong 似亦如是想。實際上，今次這個 42.8% 是按香港人口的年齡、性別和教育程度分布加權之後計算出來的。換句話說，儘管正反比率都是 42.8%，受訪者中，雙方實際人數卻可以不同。

就算不理會加權，如 Andrew Wong 那樣，略去沒意見的人，假設有 900 名表明贊成或反對的受訪者，並假設贊成的比例必然介乎 35% 與 50% 之間，那樣的確只有大約 150 個結果（實際有 136 個），可是我們卻無任何理由認為「每個結果只有約1/150的機會出現, 絕非閣下認為的幾百萬份之一」。

舉例說，假設有三名受訪者，回答一條民調問題，三人皆只答「贊成」或「反對」。這樣就有四種結果：三人贊成、兩人贊成、一人贊成、無人贊成。然而，四種結果出現的機會，都是 1/4 嗎？

假設每人都有一半機會贊成，一半機會反對，而我們稱三人為 A 君、B 君與 C 君。這樣，按(A,B,C) 的順序排列三人的回答，會有八種組合：

• （反對，反對，反對）→ 無人贊成
• （反對，反對，贊成）→ 一人贊成
• （反對，贊成，反對）→ 一人贊成
• （反對，贊成，贊成）→ 兩人贊成
• （贊成，反對，反對）→ 一人贊成
• （贊成，反對，贊成）→ 兩人贊成
• （贊成，贊成，反對）→ 兩人贊成
• （贊成，贊成，贊成）→ 三人贊成

每種組合的出現概率，都是 (1/2)×(1/2)×(1/2)=1/8。故此，無人贊成的概率為 1/8，一人贊成為 3/8，二人贊成為 3/8，三人贊成為 1/8。四種結果出現的概率，都不是 1/4。

有 N 種結果，並不表示每種結果出現的機會率必然大致一樣。

高考的數學

回到前述 Andrew Wong 有 900 人必答，而只承認贊成比率介乎 35% - 50% 的例子。設

• p = 每位受訪者回答「贊成」的概率 (0.35 ≤ p ≤ 0.5)，
• y = 結果剛好有一半人（也就是 450 人）贊成的概率。

那麼 p 和 y 的關係為何？香港未廢除高考之前，這只是高考應用數學的基礎課題。用二項式分布的常態分布逼近公式，可計算如下：
$$y\approx\frac{\Phi(450.5,\mu,\sigma)-\Phi(449.5,\mu,\sigma)}{\Phi(450.5,\mu,\sigma)-\Phi(314.5,\mu,\sigma)},$$
其中平均數 $\mu=900p$，方差 $\sigma=\sqrt{900p(1-p)}$，而 $\Phi$ 是常態分布的 cdf。

好了，Andrew Wong 說「贊成和反對的比例長期維持35-50%上下」，若 p=0.5，亦即每人有一半機會贊成的情況下，調查出來的支持度 y 為何？按上述公式，答案約為 0.0725，即 1/14 左右，遠高於 Andrew Wong 認為的 1/150。

若 p=0.35，y 又為何？這個有點麻煩。用上述逼近公式來計算的話，答案是 practically zero，完全不管用。唯有老老實實真的用二項式分布計算。算案是：1/(5.2×10¹⁹)，即大約五千萬兆分之一。這又何止幾百萬分之一？

然而，Andrew Wong 的論點的最大問題，並非他計錯數，而是他不明白何謂「合理」的數字。

「合理」之疑惑

 從上述例子可以看到，若你本來就相信 p≈0.5 的話，那麼你自然傾向相信有一半人贊成的結果「有約1/150的機會出現」。反之，若你如湯家驊般，根本心裏認定 p 遠低於 0.5，那麼你自然相信「那個機會是幾百萬分之一也說不定」。

問題是，我們不知道實際上 p 是幾多。

我們要做民意調查，正正是因為我們不知道 p，所以才用統計推算。用心目中的 p 來否定計算出來的 y，豈不是本末倒置？

（或者套用 Bayesian inference 的語言來說，無論是湯家驊抑或 Andrew Wong，都是在沒有一個可信的 prior distribution 之下，強行評論 posterior probability 是否合理。）

湯家驊的觀點的真正問題，是他單單因為發生某項觀察結果的概率只有幾百萬分之一，就認定該結果有「蠱惑」。

只因某觀察結果的出現概率低，而認為這個結果特異，是一種稱為 survival bias 的邏輯謬誤。已故著名物理學家（稱為物理巨星亦不為過），諾貝爾獎得主 Richard Feynman 就曾經用以下文字來凸顯 survival bias 如何不合理：

You know, the most amazing thing happened to me tonight. I was coming here, on the way to the lecture, and I came in through the parking lot. And you won't believe what happened. I saw a car with the license plate ARW 357. Can you imagine? Of all the millions of license plates in the state, what was the chance I would see that particular one tonight? Amazing!

將 Feynman 的例子本土化的話，可以如此：

尋日我去換領成人身份證，發現 ID 是 K125633。幾百萬個身份證號碼裏面，只有一個是 K125633，咁都畀我攞到，你話係咪好神奇？

換另一個例子。執筆時，上一期六合彩開彩結果為 7, 12, 16, 17, 20, 25 + 31。參考湯家驊的說法，「我聽到這個消息，都有點驚訝，因為從數學上來看，開出這個組合，我相信那個機會是幾千萬分之一也說不定。」

確實如此。不過呢，這樣令人驚訝的現象，是每星期都會發生的。唔通馬會個個星期都造馬？