Fundamentals of Modern Statistical Methods

Rand R. Wilcox, Fundamentals of Modern Statistical Methods: Substantially Improving Power and Accuracy, 2/e, Springer Science, New York, 2010.

前文提過，屏山公共圖書館號稱全港第二大，學術書籍卻少得可憐，不過它架上也有一些有趣的學術書。這本 Rand R. Wilcox 的統計學著作，就非常值得一讀。

此書對象為需要使用統計學的一般人，主旨乃解釋傳統統計方法的流弊，及現代方法的要點。全書 249 頁，分十二章，主要是文字闡述，並輔以公式，完全沒有 theorems and proofs。它雖未至於像霍金 (Stephen Hawking) 的 A Brief History of Time 般，只得一條公式，但也相當易讀。我上週花了四日，每日約兩句鐘就已經讀完全書。

作者認為，傳統統計方法太依賴中央極限定理 (Central Limit Theorem) 、常態分佈 (normal distribution) 與等散 (homoscedasticity) 等等的定理或假設。現實中的概率事件，卻鮮有符合所需條件。近年的研究顯示，只要現實情況稍許偏離理想條件，統計結果往往會變得非常不準確。換句話說，傳統的統計方法不夠穩陣 (robust)。

舉例說，書中有一個經常強調的概念，稱為「有限樣本障點」(finite sample breakdown point)。假設我們有五個樣本

1, 9, 10, 11, 20,

並希望從中估計母體平均數 (population mean)。一般教科書都以樣本平均 (sample mean) 作估計，也就是 (1+9+10+11+20)/5 = 10.2。問題是，只要有一個極端樣本，所得的平均數就會面目全非。譬如上例中，若把 20 換成 30，樣本平均數就變成 12.2，比原先高出足足兩成。原則上，若樣本數為 n，只要改變其中一個樣本數值，亦即 1/n 的樣本，就足以任意改變樣本平均數，於是我們稱樣本平均數的有限樣本障點為 1/n。

相比之下，若我們以中位數 (median) 來估計母體平均數，無論最大或最小的樣本的數值變得如何極端（例如將上例的 20 換成 200），也不會對結果有絲毫影響。事實上，（在不影響大小順序的情況下）要改變中位數，起碼要改變一半樣本的數值，故此中位數的有限樣本障點為 1/2。這是理論上限。因此，理論上中位數最穩陣，最不受極端事件影響。

然而穩陣又未必準確。譬如一般的大學甚至中學教科書，都指出中位數並非母體平均數的無偏倚估計 (unbiased estimate)。在離散分佈 (discrete distribution) 之下，樣本容易出現大量重複數值 (tied values)，這對中位數的應用，亦造成一些因難（詳情此處不贅）。概念上，使用中位數亦等於棄掉餘下 n-1 個樣本的大部份資訊，一般人未必個個都接受。

有無既穩陣又準確的統計方法？作者於書中經常強調，基本上並無任何情況下都最佳的統計方法。然而，從 1960 年以降，在某些範疇，統計學界已發展出一些在大部份情況下都不錯，而餘下情況則至少比傳統方法好的統計方法。以上面提到的問題為例，要估計母體平均，其實有一個簡單的好方法，就是用截尾平均 (trimmed mean)：取一個比例 p，令 m = floor(np)，截去樣本中最大和最小的 m 個樣本，再計算餘下 n-2m 個樣本的平均數，並以此作母體平均的估計。這其實就是一些奧運項目的評分方法。

讀者也許覺得，統計學家重新發現民間本來已懂得的方法，並沒甚麼了不起，可是若你有 n 個樣本，究竟要截去幾多才好？留意，樣本平均與中位數，其實都是截尾平均的特例（前者截去 0 個樣本，後者只留中間一個或兩個樣本），因此，它們的表現已經說明，若隨意揀 p 的話，未必會有好結果。此外，截尾平均再佳，也只是一個實際上不會完全正確的單點估計 (point estimate)。要更清楚地敘述統計結果的話，我們就要計算一個信賴區間 (confidence interval)。要解決這些問題，就要統計學家出場了。

本書分為兩部份。首部份有七章，深入淺出地解釋一些基本統計概念，介紹一些常見的統計問題，指出傳統方法的流弊，並簡單地解釋一些將用於第二部份的技巧（例如何謂 bootstrap method）。第二部份有五章。前四章，每章針對一類統計問題，並介紹現代的解決方法（我尤其喜歡第十一章 Robust Regression）。最尾一章則簡介其他新興，但表現未有定論的統計方法，以及如何利用統計軟件（主要是 R）幫忙。本書第二版於 2010 年印行，但內裏提及的研究論文，最晚的去到 2009 年，可見作者相當留意最新的研究成果。

要說本書有甚麼缺點的話，其優點就是缺點了：本書始終都只是非技術性的簡介，讀者要更清楚認識或真正掌握有關統計方法的話，還是要找期刊或專著來看。這實在有些諷刺：我認為本書的內容，是絕對值得要時常做統計，但本身又不是統計學人的讀者看的，然而，由於它並非專著，兼有時效（既說是現代統計方法，再過十年，就不知會否過時了），因此絕對不值得購買。（真是對不起作者啦！）

作者在書中時不時推銷他的另一本著作。看來，要「有餡」的話，就要找此書來讀了：

Rand R. Wilcox, Introduction to Robust Estimation and Hypothesis Testing, 2/e, Academic Press, San Diego, 2005.