令人眼花撩亂的民意調查

昨天各建制派人士為了高鐵撥款造勢，均大力宣傳他們的民意調查，令人目不暇給，可是這批民意調查水準低下，正好為大學統計課提供就手的反面教材和 case study。電鋸昨日分析過由智經研究中心委托嶺南大學公共管治研究部所作的調查，發現其問卷問題若非有隱藏前設（必會興建高鐵），或者意義模糊（例如甚麼叫「儘快建造」），就是利用複合問題 (complex questions) 來誤導受訪者。其實還有樣很有趣的事，是電鋸沒有留意到的，就是該份問卷的問題之中，沒有一條是詢問受訪者是否支持通過是次高鐵撥款，但有傳媒卻將調查結果解讀為市民支持立法會通過是次撥款申請：

智經：有意見認為，立法會應該盡快完成對高速鐵路撥款的審議。你是否贊成這種看法？

亞視新聞：智經研究中心就興建高鐵香港段進行民意調查，顯示近七成受訪者支持興建高鐵，過半數人更希望盡快審批撥款。

其他傳媒引述智經的調查結果時，亦普遍沒有強調「近七成受訪者支持興建高鐵」與「近七成受訪者支持政府的高鐵方案」之間的區別。《星島日報》不但將「支持興建高鐵」刻意解讀為「支持政府的撥款申請」，還連續兩日分別以「近七成受訪者支持興建高鐵」及「智經調查：63%人贊成盡快撥款」為題重複報道智經的調查結果，脫離新聞界慣常做法。

智經研究中心的標誌
「知」字下面有個低低的 B

智經的調查其實還不算最離譜。且看「經濟動力」的問卷題目：

1. 是否支持盡快興建高鐵香港段？
2. 高鐵通車後香港前往廣州只需48分鐘，較現時坐直通車節省逾一倍時間，你覺得效益大嗎？
3. 政府預計高鐵啟用50年內，為本港帶來870億元經濟效益，創造11,000個就業職位，你認為興建高鐵有助刺激經濟嗎？
4. 你認為立法會應通過高鐵的撥款申請，令工程盡快動工嗎？

若將問題換成下面這樣又如何？

1. 是否支持再審慎考慮那個是最佳方案，才興建高鐵香港段？
2. 高鐵通車後香港乘鐵路往廣州市中心，要先經高鐵往新廣州站的48分鐘車程，再轉搭十多個站的市內鐵路列車，較現時坐港穗直通車轉折得多，你覺得效益大嗎？
3. 根據現行方案，政府預計高鐵啟用50年內，會為本港帶來870億元經濟效益，創造11,000個就業職位，而民間智庫 ××× 估計若採納其他民間方案，不但可為本港帶來同樣的經濟效益和新職位，還可節省幾百億挖隧道用的工程費。你認為民間方案會更有利嗎？
4. 你認為立法會應該暫時擱置高鐵的撥款申請，延遲動工時間，免得與其他基建項目撞期而推高工程費用嗎？

大概調查結果會大大不同吧。像「經濟動力」的問卷那麼露骨地引導受訪者，連近來非常和諧的《明報》也看不過眼：

經濟動力問卷蹊蹺 指六成半人撐高鐵

【明報專訊】Emily去過唔少大小機構政黨嘅調查報告記者會，噚日Emily去咗經濟動力搞嘅調查發布會，新聞稿大大隻字話「六成半人支持高鐵香港段盡快動工」，不過問題嘅引導性就似乎高咗口的，Emily喺呢度舉其中兩條問題比大家睇睇，判斷一下。
……
Emily認為，今次嘅調查證明，原來有時問題比答案更重要。

「經濟動力」的調查方法亦大有問題。根其網頁所講，調查者乃於「紅磡火車總站，以問卷成功訪問 317 名巿民及旅客」。這樣其實不算隨機抽樣，而是電鋸曾經提及的所謂便利抽樣 (convenience sampling)。它最大的問題，是調查對象不夠代表性，例如紅磡火車總站正好是港穗直通車總站，所以希望縮短港穗之間車程的受訪者可能特別多。另外，長者比年輕人少出門，因此紅磡站的受訪者可能較為年輕。「經濟動力」的調查亦無披露採訪時間，若選擇下班時間，受訪的又可能以能夠準時收工的文員職級居多。

《明報》雖然有人撰文批評「經濟動力」的民意調查，但它本身所作的調查，也不見得可靠：

明報民調﹕逾半人支持撥款

【明報專訊】本報過去兩天透過電話成功訪問671人，發現逾半數受訪者支持立法會撥款建高鐵，約三成受訪者反對，一成六人無意見。

港大民意研究計劃總監鍾庭耀指出，日前天主教正義和平委員會委託港大的民調顯示，支持和反對建高鐵人數各不過半（支持47％，反對或擱置共45％），反映社會對興建高鐵未有共識，他又指該民調發現，只有少數受訪者表示認識高鐵討論，可見受訪者對高鐵項目的討論很不了解。

做民意調查，不但要宣傳結果，還要披露調查方法。《明報》的對後者隻字不提，卻將自己的結果放在調查程序向來嚴謹的港大民調之前，若非患了 NIH syndrome，就是與政府同出一氣，發動支持高鐵撥款的文宣。不過港大的調查也沒有公佈調查方法，不知是讓合作調查的天主教正義和平委員會先發表之故，還是別有內情。

其實《明報》與港大調查的樣本數都有 600以上，儘管港大的調查是按年齡及性別加權，而《明報》的表面上不是，但若兩者都夠隨機的話，反對撥款的比例不可能相差 15 個百分點這麼遠。舉例說，若真的如《明報》所講，有三成受訪者反對撥款，那麼港大民調（樣本數 1018）會得出有 45% 或以上的反對者的機會率，只得 10^-24；即使所謂「反對者」只包括反對興建高鐵 (23%) 而不包括擱置撥款 (22%) 的人士，那麼港大調查會遇到有 23% 或更少反對者的機會率，仍不過十萬分之三。所以若非年齡或性別的加權數對調查結果有非常大的影響，就是兩個調查結果之中最少有一個錯誤。兩組調查結果的差異這麼明顯，專業的新聞編輯無可能不察覺。究竟是《明報》對自己的調查方法有信心，抑或死都要將「不和諧」的聲音沖淡，就由讀者自行判斷。

無論如何，港大的調查之中，有一點非常值得稱許的，就是它問了以下兩個問題，由此可見港大調查的功力的確比其他調查者高：

Q1. 請問你對高鐵項目香港段既相關討論認識程度係屬於多定少？
Q2. 社會上對高鐵站既選址及數目有不同意見，你對呢D討論既認識程度係屬於多定少？

原來過半受訪者對關於高鐵的討論都所知不多。這樣的情況下，無論高鐵論爭雙方祭出有幾多成市民支持或反對高鐵撥款的調查結果，都是枉然，所以中央政策組連在自己網頁公佈數據也不敢的所謂有超過六成市民支持興建高鐵的結果，我們完全可以不理。

後記：蒙 euyak 告知，文匯報的網上調查更令人O嘴。請看 euyak 的留言。

後記二：剛剛上網讀新聞，發現《明報》今日竟然冒出一篇這樣的「報道」：

智經指七成人撐高鐵 學者﹕民調多淪政治工具

【明報專訊】近日有多個關於廣深港高速鐵路的民意調查發布，作為政府智囊的智經研究中心亦加入戰團，昨公布其民調結果指出，近七成受訪者支持香港興建高鐵，與港大日前公布不足一半受訪者支持高鐵撥款的結果相差甚遠。有學者指出，兩個民調所用的字眼已充分反映委託機構的立場，令受訪者按其立場回應，「其實現時很多民調已不能反映市民意見，淪為政治工具」。
……
理大應用社會科學系助理教授鍾劍華形容，兩份問卷的問題清晰顯露智經研究中心及天主教正義和平委員會的前設立場，其中智經加入「以連接全國高鐵網絡」字眼，但無交代高鐵的成本，「令受訪者若沒思考高鐵代價，又覺得可加強香港與內地關係，何樂而不為？自然會支持建高鐵」。

至於港大民調題目具體指高鐵撥款相等於每個港人的付出成本，「寫明每人要付1萬元，雖然不是直接從口袋拿走錢，但總令人感覺這是不少錢，自然會反對撥款」。

鍾劍華指出，兩個民調成功令受訪者按其立場作出符合其前設的回應 ……

鍾劍華教授的批評是錯的。智經的問題，是複合問題。例如它的第一條問題，是問「你是否支持香港建造高速鐵路，連接全國高鐵網絡？」要連接內地高鐵網，不一定要在香港起高鐵，因此此問題實際上是利用部份人希望香港連上內地高鐵網的願望，來支持興建高鐵香港段。

港大的問題卻不是這樣。它問的是「政府現正要求立法會通過撥款669億港元，即平均每個香港人大約一萬元，用作興建高鐵項目，你傾向支持撥款、反對撥款，定係擱置撥款？」這條問題沒有隱藏的前設，只是陳述事實。要決定是否支持撥款，當然要明白撥款數目，否則就是要香港市民簽一張無銀碼的支票。一般人可能一世也儲不到一千萬，669 億這個數目，是他們不能理解的規模。港大的問卷將該數值化為人均金額，是正當做法。若真要引導受訪者，問卷大可以這樣問：

政府現正要求立法會通過撥款669億港元，即平均每名有工作的香港人大約一萬八千五百元，或者香港薪金中位數的 1.7 倍，來用作興建高鐵項目。你傾向支持撥款、反對撥款，定係擱置撥款？

這樣問也是陳述事實，但問題中用了其他金額作比較，所以具引導性。港大原來的問題卻非如此。

《明報》這篇報道，其實是借刀殺人。用鍾劍華教授的意見及智經那份水準低下的調查來拖港大的調查下水，營造一個所有民意調查都是政治工具的印象。《明報》自己也做了個高鐵民意調查，為何不找鍾教授批評一下？