網上調查不可信

鞏俐入籍新加坡，惹來部份內地網民口誅筆伐，連外國傳媒（如法新社、每日電訊報、泰晤士報等等）都有報道。這些批評在一些人眼中（包括在下），當然顯得奇怪。始終嫁雞隨雞，既然丈夫是新加坡人，鞏俐入新加坡籍，十分自然。

對這個事件的報道，有個很特別的現象。西方傳媒（如上述三家）多數只是說鞏俐入籍引起了網上激辯，但不少兩岸三地的傳媒（如明報、自由時報、中國評論、新華網、星島日報、北京新浪網等），都引用了以下兩項資料或其中之一。第一項是關於內地騰訊網所做的網上調查，這項調查問網民鞏俐入籍的看法，網民可以選「尊重她的個人選擇」、「不關心，無所謂」或「反對，這是不愛國的表現」。第二項資料是說據新加坡《週日時報》（Sunday Times，其實是海峽時報的週日版）的網上調查，超過六成新加坡人不歡迎鞏俐入籍云云。

傳媒引用調查數字，可能是想藉此突顯網上民意的傾向，可是網上調查其實可以十分誤導。首先，網上調查是願者上釣，根本不只不是隨機抽樣，事實上是連抽樣機制都沒有，樣本完全沒有代表性。其次，不少網上調查都沒有截止日期，傳媒引用的只是某一刻的結果，而過了一段短時間，結果可以截然不同。就以騰訊網的調查為例，明報及英文版新華網引述的結果均為 42.4% 尊重、30.3% 不關心、27.3% 反對，而星島日報及中文版新華網所引述的結果則為 9.17% 尊重、26.06% 不關心、64.77% 反對。前者表示尊重的人達四成，後者連一成都沒有，兩種表述給人的印象，可謂南轅北轍。至於最新的調查結果，請自己看。（這些調查結果為甚麼要精密到小數點後兩個位，又是另一個問題。）

更糟的是，即使是一眼也可看出有問題的調查，傳媒仍是照用。上面說過超過六成新加坡人反對鞏俐入籍，這項調查其實早在八月尾已結束，文匯報也曾於調查結束的翌日報道。雖然我已找不回該調查的網頁，可是據海峽時報自己的報道：

A Sunday Times online poll reveals that only 36 per cent of the 33 respondents think she should give up her China citizenship.

原來所謂超過六成新加坡人反對鞏俐入籍，是指參與網上投票的三十三個人當中有廿一個反對！引用這樣的結果，已不能用無知作解釋了，只能說是記者或編輯的怠惰或視而不見。

其實報章一般引用民意調查機構的結果，已經相當不嚴謹，至於這些網上調查，我覺得大家可以索性無視。傳媒實在太容易 cherry-pick 或者 misinterpret 這些結果了，比方說，如果我想顯示大部份中國網民都很理性，我大可以引用新浪網的這個調查。執筆時，網民認為鞏俐入籍無可非議的有 83%，這個調查的參與人數，有七十七個。

西方傳媒為甚麼不引用這些網上調查結果？是因為它們不知道有這些結果、不相信這些結果還是看不懂這些結果？這是個饒有趣味的問題。

伸延閱讀：電鋸又再教訓老闆

---

後記（十一月廿二日）

重讀這篇文章，發覺很容易令人誤會，以為我指網上調查其中一個不可信的主要原因為樣本數太小。

不是這樣的。正如電鋸兄撰寫的文章所指出，統計學的精粹在於「以管窺豹」，也就是從細小的樣本中獲得可靠的一般結論。其中，抽樣方法是重要的一環。假使抽樣方法不妥當，即使樣本數成千上萬，也毫無代表性可言。

上文提及的騰訊網調查就是個好例子，兩批獲得不同結果的傳媒中，其中一批（明報等等）指出投票人數為 6580 人，其中選 (1)「尊重她的個人選擇」、(2)「不關心，無所謂」及 (3)「反對，這是不愛國的表現」的比例為 0.424, 0.303 及 0.273，也就是說投這三項選擇的人數分別為 m₁ = 2790, m₂ =1994 及 m₃ = 1796 人。從比例上看，這個結果與最新的結果相似，因此相信沒有公佈投票人數的那個結果其實較這個 6580 人的結果來得要早。

沒有提及有多少人投票的那個結果，投三項選擇的票數為 p₁ = 0.0917, p₂ = 0.2606 及 p₃ = 0.6477。雖然原本沒必要精密到小數後四個位，但這樣的奇怪做法卻幫了大忙。假設投票人數為 N，投三項選擇的人數為 n₁, n₂ 及 n₃。由於結果的精密度為小數後四個位，因此要有 |p_i − n_i/N| < 0.00005。這可改寫成

(a) ceil(N(p_i − 0.00005)) = floor(N(p_i + 0.00005)).

其次，由於這項調查結果比 6580 人的那個要早，因此有

(b) N ≤ 6580 及 n_i ≤ m_i (i = 1, 2, 3).

搜尋所有符合 (a), (b) 兩項條件的 N，發現有多個可能：

N = 545, 687, 894, 1036, 1090, 1178, 1232, 1320, 1374, 1385, 1439, 1462, 1527, 1581, 1635, 1669, 1723, 1777, 1788, 1811, 1842, 1865, 1919, 1930, 1953, 1984, 2007, 2061, 2072, 2126, 2149, 2160, 2180, 2214, 2268, 2279, 2302, 2322, 2333, 2356, 2387, 2410, 2421, 2444, 2464, 2475, 2498, 2529, 2552, 2563, 2606, 2617, 2640, 2671, 2682, 2694, 2705, 2725, 2736, 2748, 2759, 2770.

實際上那個可能才正確並不重要，因為我們知道 N 最少也有 545 人。如果抽樣方法夠隨機的話，545 人的樣本數其實絕不算小。以 95% 信賴區間來說，投 (3)「反對，這是不愛國的表現」的比率的誤差亦只不過是 1.96 × sqrt(p₃(1−p₃)/N) = 0.0401，也就是說 p₃ 應介乎 0.6076 與 0.6878 之間，這絕對解釋不了為甚麼兩項調查相距只得一兩天（兩批新聞報道都是在本月十二和十三日發出的），p₃ 竟然從 0.6477 大跌至只得 0.273。

比較 6580 人的投票結果與有三萬多人投票的最新結果，我們發現兩者極為相似。那麼，我們可不可以說只要「樣本數」達幾千，樣本便可靠？

我不能同意這樣的結論。首先，投票人數達幾千並不能掩蓋這並非隨機抽樣而是讓人主動投票的事實。即使三項選擇的比例已穩定下來，我們仍不知道這代表甚麼。當然，即使網上投票沒有隨機抽樣機制，只要投票人數多至某種程度的話，它的結果仍是有一定代表性的（極端一點說，若九成的人口都參與這次網上投票，那麼其代表性當然不容置疑）。但一來我們事前並不知道要多少才算足夠多，二來現在這 6580 人（或最新的三萬多人），究竟它代表了

• 社會的整體意向，
• 網民的意向，
• 喜歡網上投票的網民意向，
• 喜歡在騰訊網投票的網民意向（不要忘記騰訊網的結果與新浪網的結果截然不同），
• 喜歡在騰訊網上對明星動態投票的網民意向，
• 還是喜歡在騰訊網上對明星動態投票，而又知道有現在這項調查的網民意向，

實在說不準。

其次，這次當投票人數達六千多人時，結果已穩定下來。這所表示的，可能只是投票者的意向需要一兩日時間蘊釀，而非 6580 這個人數本身有代表性。下次網上投票，會不會出現上萬人投了票，但民意仍未穩定下來的局面，誰也無法預測。民意時常在變，因此一般的滾動調查都會說明所做調查的時窗，引述網上調查的結果也應該這樣，然而網上調查一般只會報告累積的投票結果，而不是最近幾天的投票結果。另外，不同網民會在不同時間才得知某項網上調查的存在，當某個時點有某個結果的時候，我們不知是當時的民意是如此，還是當時先知先覺曉得有這項調查的民意是如此。

總括來說，網上調查的可靠性成疑的主因有二。一是投票者缺乏代表性，二是調查的時效不明。除此以外，還有一些技術問題，例如會不會有人投了多次票？有些網站要投了票才能察看投票結果，又會不會有人只為察看投票結果而亂投票？

不過我也的確覺得《週日時報》及新浪網兩項調查的投票人數太少是個問題。電鋸兄正確地指出樣本數主要影響的是統計誤差，不過我說的不是這個。始終網上調查這種東西根本沒有代表性可言，因此統計誤差也不是我最關心的事項。少人投票的網上調查的最大問題，在於它沒有新聞價值。如果像騰訊網的調查那樣，有上萬的人反對鞏俐換籍，這個現象還是值得深究。可是換了像《週日時報》那樣有三十多個「唔知乜頭乜路」的網民反對，除了說報刊編輯希望製造出一個有六成新加坡人反對鞏俐入籍的假像之外，我實在想不出有任何值得報道的原因。