2013年5月29日星期三

讀期刊,小確幸

今日偶爾看到某期刊文章中有這麼一句:
Several proofs of this fact may be found in [18] along with the interesting historical remarks such as that Schrödinger could not find a proof that these eigenvalues are correct.
嘴角馬上牽起來,原因是兩月前有人問了完全相同的問題,但我花了不到廿分鐘就用最基礎的手段解決了。能勝過量子力學大師 Schrödinger (即是「薛丁諤的貓」那位薛丁諤),難免沾沾自喜。

自吹自擂就到此為止了。有關的問題其實並不太難,只是有時聰明人束手無策,而平凡人靈機一觸,答案卻自己跑出來。學術也是講運氣的。

2013年5月21日星期二

流水帳

近一兩年,切身感受到人到中年,身體比年輕時差這個事實。剛剛只是飲了一罐 500ml 的喜力,竟然已經頭重重,不禁啞然。以前讀大學,宿舍開派對時,我們是甚至會叫生力送一部啤酒機來,讓大家狂飲的。真係今時唔同往日。

午間逛書店,翻了幾部小說,驀然想到,讀繙譯歐美小說時,不知為何總是有種「繙譯感」揮之不去,就好像每字每句都提醒你,「這是繙譯小說」似的。相比之下,讀繙譯日本小說,很少有這種隔閡。也就是說,繙譯的日本小說,往往比歐美小說譯得自然。照道理,雖說日文也用漢字,但語法終究還是跟中文有許多差異,故此繙譯歐美小說那種生硬的感覺,應該出自其他原因,不過我等粗人,也說不出是甚麼就是了。

剛剛寫「隔閡」,執筆忘字,要查辭典方找到「閡」的正字,其間意外發現,粵語常用語「隔涉」原來也是古語。辭典謂,「隔涉」一語可見於元末高明所撰南戲《琵琶記.拐兒脫騙》:「你傳示俺八旬爹媽,道與我兩月妻房,隔涉萬水千山。」

上週馬傑偉於《明報》撰文說「Quota 用盡了」,我也有同感,不過理由有點不同。馬說「對於時事,無端起了厭惡之情。近月更有強烈的逃避情緒。不要煩我!就是想置身事外。努力學習」,我倒沒有這種感覺。我厭惡那些壟斷權力還要指摘庶民獨裁的權貴,但罵不出來,或寫不出半個字,卻是由於感到自身不夠識見,寫不出有用的東西。反而馬傑偉說「畫家不想作畫了,詩人不想寫詩了」,那種 quota 突然耗盡的情況,我卻百分百感同身受。

2013年5月19日星期日

Fundamentals of Modern Statistical Methods

Rand R. Wilcox, Fundamentals of Modern Statistical Methods: Substantially Improving Power and Accuracy, 2/e, Springer Science, New York, 2010.

前文提過,屏山公共圖書館號稱全港第二大,學術書籍卻少得可憐,不過它架上也有一些有趣的學術書。這本 Rand R. Wilcox 的統計學著作,就非常值得一讀。

此書對象為需要使用統計學的一般人,主旨乃解釋傳統統計方法的流弊,及現代方法的要點。全書 249 頁,分十二章,主要是文字闡述,並輔以公式,完全沒有 theorems and proofs。它雖未至於像霍金 (Stephen Hawking) 的 A Brief History of Time 般,只得一條公式,但也相當易讀。我上週花了四日,每日約兩句鐘就已經讀完全書。

作者認為,傳統統計方法太依賴中央極限定理 (Central Limit Theorem) 、常態分佈 (normal distribution) 與等散 (homoscedasticity) 等等的定理或假設。現實中的概率事件,卻鮮有符合所需條件。近年的研究顯示,只要現實情況稍許偏離理想條件,統計結果往往會變得非常不準確。換句話說,傳統的統計方法不夠穩陣 (robust)。

舉例說,書中有一個經常強調的概念,稱為「有限樣本障點」(finite sample breakdown point)。假設我們有五個樣本
1, 9, 10, 11, 20,
並希望從中估計母體平均數 (population mean)。一般教科書都以樣本平均 (sample mean) 作估計,也就是 (1+9+10+11+20)/5 = 10.2。問題是,只要有一個極端樣本,所得的平均數就會面目全非。譬如上例中,若把 20 換成 30,樣本平均數就變成 12.2,比原先高出足足兩成。原則上,若樣本數為 n,只要改變其中一個樣本數值,亦即 1/n 的樣本,就足以任意改變樣本平均數,於是我們稱樣本平均數的有限樣本障點為 1/n。

相比之下,若我們以中位數 (median) 來估計母體平均數,無論最大或最小的樣本的數值變得如何極端(例如將上例的 20 換成 200),也不會對結果有絲毫影響。事實上,(在不影響大小順序的情況下)要改變中位數,起碼要改變一半樣本的數值,故此中位數的有限樣本障點為 1/2。這是理論上限。因此,理論上中位數最穩陣,最不受極端事件影響。

然而穩陣又未必準確。譬如一般的大學甚至中學教科書,都指出中位數並非母體平均數的無偏倚估計 (unbiased estimate)。在離散分佈 (discrete distribution) 之下,樣本容易出現大量重複數值 (tied values),這對中位數的應用,亦造成一些因難(詳情此處不贅)。概念上,使用中位數亦等於棄掉餘下 n-1 個樣本的大部份資訊,一般人未必個個都接受。

有無既穩陣又準確的統計方法?作者於書中經常強調,基本上並無任何情況下都最佳的統計方法。然而,從 1960 年以降,在某些範疇,統計學界已發展出一些在大部份情況下都不錯,而餘下情況則至少比傳統方法好的統計方法。以上面提到的問題為例,要估計母體平均,其實有一個簡單的好方法,就是用截尾平均 (trimmed mean):取一個比例 p,令 m = floor(np),截去樣本中最大和最小的 m 個樣本,再計算餘下 n-2m 個樣本的平均數,並以此作母體平均的估計。這其實就是一些奧運項目的評分方法。

讀者也許覺得,統計學家重新發現民間本來已懂得的方法,並沒甚麼了不起,可是若你有 n 個樣本,究竟要截去幾多才好?留意,樣本平均與中位數,其實都是截尾平均的特例(前者截去 0 個樣本,後者只留中間一個或兩個樣本),因此,它們的表現已經說明,若隨意揀 p 的話,未必會有好結果。此外,截尾平均再佳,也只是一個實際上不會完全正確的單點估計 (point estimate)。要更清楚地敘述統計結果的話,我們就要計算一個信賴區間 (confidence interval)。要解決這些問題,就要統計學家出場了。

本書分為兩部份。首部份有七章,深入淺出地解釋一些基本統計概念,介紹一些常見的統計問題,指出傳統方法的流弊,並簡單地解釋一些將用於第二部份的技巧(例如何謂 bootstrap method)。第二部份有五章。前四章,每章針對一類統計問題,並介紹現代的解決方法(我尤其喜歡第十一章 Robust Regression)。最尾一章則簡介其他新興,但表現未有定論的統計方法,以及如何利用統計軟件(主要是 R)幫忙。本書第二版於 2010 年印行,但內裏提及的研究論文,最晚的去到 2009 年,可見作者相當留意最新的研究成果。

要說本書有甚麼缺點的話,其優點就是缺點了:本書始終都只是非技術性的簡介,讀者要更清楚認識或真正掌握有關統計方法的話,還是要找期刊或專著來看。這實在有些諷刺:我認為本書的內容,是絕對值得要時常做統計,但本身又不是統計學人的讀者看的,然而,由於它並非專著,兼有時效(既說是現代統計方法,再過十年,就不知會否過時了),因此絕對不值得購買。(真是對不起作者啦!)

作者在書中時不時推銷他的另一本著作。看來,要「有餡」的話,就要找此書來讀了:
Rand R. Wilcox, Introduction to Robust Estimation and Hypothesis Testing, 2/e, Academic Press, San Diego, 2005.

2013年5月13日星期一

置換遊戲

(本網誌正進行「人生目標調查」。有興趣的網友可填寫位於網誌右邊 sidebar 的問卷。)



近日自閉指數颷升,我要到昨日才知道教育學院搞了一個民意調查,結果謂「約有一半的香港市民認為維持社會秩序比民主重要」。一方面,以香港人的保守,就算這個結果真確,也毫不出奇;另一方面,教育的調查方法亦未必無可議之處。我覺得,讀者最好還是自己看一下詳情(新聞稿簡報),才自行判斷結果是否可信,不要因結果不中聽而廢言。若有機會的話,我也會看看是否還有話可說,不過現在先玩一個置換遊戲。

是項調查的其中一條問題如下:
社會上,每個人唔係經常都可以得到想要既野。以下有四個目標,如果你要係
佢地當中揀,邊一個你最想要同第二想要呢?
[訪員讀出 1-4 項,次序由電腦隨機排列]

  1. 維持社會秩序 (社會秩序)
  2. 係重大政治議題上俾市民更多發言權 (民主)
  3. 對抗物價上升 (民生)
  4. 捍衛言論自由 (言論自由)

其中一個調查結果,是有 53.7% 受訪者認為「社會秩序」重於「民主」。

好了,現在且讓我們置換一些選項:
社會上,每個人唔係經常都可以得到想要既野。以下有四個目標,如果你要係
佢地當中揀,邊一個你最想要同第二想要呢?
[訪員讀出 1-4 項,次序由電腦隨機排列]

  1. 維持社會秩序 (社會秩序)
  2. 參選行政長官,須由提名委員會先行篩選出「愛國愛港」者 (特首選舉有預選)
  3. 對抗物價上升 (民生)
  4. 經濟上與內地進一步融合 (中港融合)

我敢打包票,以 1, 3 兩項優先的人,必定遠多於選其餘兩項者。要是教院真的問這樣的問題,你猜《文匯報》又會否說「近半市民指社會秩序重於特首愛國愛港」,或者「近半市民指社會秩序重於中港融合」?尤甚者,若將第二或第四項改為「繼續讓中國統治香港」,又會不會有「近半市民指改善民生,比由中國統治香港更重要」這樣的結果?它又有無微言大義?

結論是甚麼?我還未有時間細看,因此沒有結論。曾有人問主事人周基利教授何以將四個選項對立起來,主事人答曰,這是因為提倡「佔領中環」者,是以犧牲社會秩序為代價,換取民主自由云云(這是大意,我找不回原來的連結,有連結者煩請告之)。I think he has a point. 我不會急於說教院的調查方法有問題,讀者也不必即刻認為周教授是為了媚共才搞這個民意調查。當然,我也不會說周教授的調查毫無問題(至少將「民主」詮釋為「喺重大政治議題上畀市民更多發言權」,就未免過於局限),更不會對周教授的動機毫不懷疑。事實上,他的新聞稿與調查簡報都非常可疑以下是新聞稿內一個列表:


讀者有無發現異常?明明問題有四個選項,何以新聞稿只比較三個選項的輕重?調查簡報也是同樣情況。

其實周教授是否為了避免生果報有類似「七成港人認為改善民生,比維持社會秩序重要」這樣的頭條出現,而略去有關結果?

就算反過來,有七成人認為「維持社會秩序」比「對抗物價上升」重要,難道我們可以將此詮釋為「七成港人認為維持社會秩序,可以不計較物價上升」嗎?假若不可以的話,就算有近半港人認為維持社會秩序比民主重要,難道我們又可以不要民主

教院的調查簡報並無比較「維持社會秩序」與「對抗物價上升」的輕重,但這其實是可以從簡報結果推導出來的。詳情不贅了,只說結果:比較兩者,有 41% 受訪者認為「維持社會秩序」比「對抗物價上升」重要,但亦有 36.6% 受訪者反過來認為「對抗物價上升」重於「維持社會秩序」。整體來說,隨意揀兩個選項 A, B,認為「A 比 B 重要」的受訪者,都是介乎三成幾至五成之間,當中縱有差異,也不算極端。究竟周教授是否想強調受訪者偏向看重「維持社會秩序」這個結果,而避談「對抗物價上升」這個選項,以免減低戲劇性,就不得而知。然而,若調查員提及問卷第三選項的時候,字面上所說的是「於重大政治議題上給市民更多發言權」,調查分析卻將此詮釋成「民主」的話,就有偷換概念之嫌。

可是我也必須為周教授說句公道話。他的新聞稿與調查簡報,根本都沒有將「受訪者重視社會秩序多於民主」當成重點,其新聞稿亦明確表示「認為社會秩序比言論自由重要的受訪者百分比(45.6%),其實在統計上是和認為言論自由比社會秩序重要的受訪者百分比(41.0%)是沒有分別的」。縱使看重社會秩序的受訪者的確最多,但數字並非那麼一面倒。可惜報章普遍都將調查結果說成港人彷彿寧要社會秩序,而不要民主一樣。