Rand R. Wilcox,
Fundamentals of Modern Statistical Methods: Substantially Improving Power and Accuracy, 2/e, Springer Science, New York, 2010.
前文提過,屏山公共圖書館號稱全港第二大,學術書籍卻少得可憐,不過它架上也有一些有趣的學術書。這本 Rand R. Wilcox 的統計學著作,就非常值得一讀。
此書對象為需要使用統計學的一般人,主旨乃解釋傳統統計方法的流弊,及現代方法的要點。全書 249 頁,分十二章,主要是文字闡述,並輔以公式,完全沒有 theorems and proofs。它雖未至於像霍金 (Stephen Hawking) 的 A Brief History of Time 般,只得一條公式,但也相當易讀。我上週花了四日,每日約兩句鐘就已經讀完全書。
作者認為,傳統統計方法太依賴
中央極限定理 (Central Limit Theorem) 、
常態分佈 (normal distribution) 與
等散 (homoscedasticity) 等等的定理或假設。現實中的概率事件,卻鮮有符合所需條件。近年的研究顯示,只要現實情況稍許偏離理想條件,統計結果往往會變得非常不準確。換句話說,傳統的統計方法不夠
穩陣 (robust)。
舉例說,書中有一個經常強調的概念,稱為「
有限樣本障點」(finite sample breakdown point)。假設我們有五個樣本
1, 9, 10, 11, 20,
並希望從中估計
母體平均數 (population mean)。一般教科書都以
樣本平均 (sample mean) 作估計,也就是 (1+9+10+11+20)/5 = 10.2。問題是,只要有一個極端樣本,所得的平均數就會面目全非。譬如上例中,若把 20 換成 30,樣本平均數就變成 12.2,比原先高出足足兩成。原則上,若樣本數為 n,只要改變其中一個樣本數值,亦即 1/n 的樣本,就足以
任意改變樣本平均數,於是我們稱樣本平均數的有限樣本障點為 1/n。
相比之下,若我們以
中位數 (median) 來估計母體平均數,無論最大或最小的樣本的數值變得如何極端(例如將上例的 20 換成 200),也不會對結果有絲毫影響。事實上,(在不影響大小順序的情況下)要改變中位數,起碼要改變一半樣本的數值,故此中位數的有限樣本障點為 1/2。這是理論上限。因此,理論上中位數最穩陣,最不受極端事件影響。
然而穩陣又未必準確。譬如一般的大學甚至中學教科書,都指出中位數並非母體平均數的
無偏倚估計 (unbiased estimate)。在
離散分佈 (discrete distribution) 之下,樣本容易出現大量重複數值 (tied values),這對中位數的應用,亦造成一些因難(詳情此處不贅)。概念上,使用中位數亦等於棄掉餘下 n-1 個樣本的大部份資訊,一般人未必個個都接受。
有無既穩陣又準確的統計方法?作者於書中經常強調,基本上並無
任何情況下都最佳的統計方法。然而,從 1960 年以降,在某些範疇,統計學界已發展出一些在
大部份情況下都不錯,而餘下情況則至少比傳統方法好的統計方法。以上面提到的問題為例,要估計母體平均,其實有一個簡單的好方法,就是用
截尾平均 (trimmed mean):取一個比例 p,令 m = floor(np),截去樣本中最大和最小的 m 個樣本,再計算餘下 n-2m 個樣本的平均數,並以此作母體平均的估計。這其實就是一些奧運項目的評分方法。
讀者也許覺得,統計學家重新發現民間本來已懂得的方法,並沒甚麼了不起,可是若你有 n 個樣本,究竟要截去幾多才好?留意,
樣本平均與中位數,其實都是截尾平均的特例(前者截去 0 個樣本,後者只留中間一個或兩個樣本),因此,它們的表現已經說明,若隨意揀 p 的話,未必會有好結果。此外,截尾平均再佳,也只是一個實際上不會完全正確的
單點估計 (point estimate)。要更清楚地敘述統計結果的話,我們就要計算一個
信賴區間 (confidence interval)。要解決這些問題,就要統計學家出場了。
本書分為兩部份。首部份有七章,深入淺出地解釋一些基本統計概念,介紹一些常見的統計問題,指出傳統方法的流弊,並簡單地解釋一些將用於第二部份的技巧(例如何謂 bootstrap method)。第二部份有五章。前四章,每章針對一類統計問題,並介紹現代的解決方法(我尤其喜歡第十一章 Robust Regression)。最尾一章則簡介其他新興,但表現未有定論的統計方法,以及如何利用統計軟件(主要是 R)幫忙。本書第二版於 2010 年印行,但內裏提及的研究論文,最晚的去到 2009 年,可見作者相當留意最新的研究成果。
要說本書有甚麼缺點的話,其優點就是缺點了:本書始終都只是非技術性的簡介,讀者要更清楚認識或真正掌握有關統計方法的話,還是要找期刊或專著來看。這實在有些諷刺:我認為本書的內容,是絕對值得要時常做統計,但本身又不是統計學人的讀者看的,然而,由於它並非專著,兼有時效(既說是現代統計方法,再過十年,就不知會否過時了),因此絕對不值得購買。(真是對不起作者啦!)
作者在書中時不時推銷他的另一本著作。看來,要「有餡」的話,就要找此書來讀了:
Rand R. Wilcox, Introduction to Robust Estimation and Hypothesis Testing, 2/e, Academic Press, San Diego, 2005.