2009年5月28日星期四

前擬題員看通識

陶傑試答通識科樣本試題不合格一事,一時成為熱話。趁事情平靜下來,讓我用前任考評局(時稱考試局)高級程度會考擬題員兼閱卷員的身份講一下感想。

有線新聞所用的是考評局的試卷樣本,卷一要三題全答,卷二則三揀一。報道只講陶傑從卷一 1(a) 題及卷二第 1 題取得分數,並無交代其他題目得分,所以所謂陶傑「不合格」,其實只限於那一又三分一題。記者亦只訪問了其中一位評分老師,就是曾與黃霑主持電視節目《江山如此多 Fun》的鄧飛,另外兩位老師到底基於甚麼理由打低分,我們無從得知。這次有線拍攝了鄧飛的窘態,觀眾很容易因其失態而廢言。

送分是慣例
兩條題目中,陶傑批評卷一那題「舌環題」過淺,只屬小六程度,鄧飛則表示先來淺的讓考生熱身,當作送分也是好事。考試設「送分題」其實是慣例,目的用香港話來說,就是讓考生較有「揸拿」。這一來有助考生消除緊張,二來不至於讓程度較差的考生毫無收獲,打擊他日後重讀的意志。此等心理措施是否奏效,見仁見智,但只要送分題的比重不大,其存在亦無傷大雅。

舌環題本質上確是閱讀理解題,這是大家都同意的,但它之所以為通識科試題,卻有其原因。「通識」雖然叫通識,但考生不可能通通都識,因此通識科考卷應避免以背誦為基礎。這方面考評局的《通識教育科課程及評估指引(中四至中六)》(下稱《指引》)是有明言的:
雖然,在理解某一議題而作出判斷之前,必須認識有關知識和事實;但是,本科考試的重點不在於事實性資料的累積-事實上,設計考卷時也會盡力避免要求背誦詳細事實的試題。因此,考試的重點將會放在評估學生的理解和展示思考方法的能力上。(頁 102)
正確地理解他人話語的能力是通識的基礎。通識科設有閱讀理解題,並無不妥。只要這類題目不是太多,以致扭曲了整個通識科考試的面貌,其實無可無不可。

Elaborate 是常識
至於卷二的「能源題」,全文如下:
細閱下列取材自刊於 2007 年 3 月 12 日本地某報章的一篇報道﹕

中國能源發展何去何從?
全國人民代表大會和中國人民政治協商會議的會議期間,中國國務院總理溫家寶強調在發展經濟的過程中環境保護的重要性,若有可能,應盡量用無污染或低污染的能源。例如,依賴煤作為主要能源在污染及開採安全上都帶來不少問題,而盡量改用再生能源何可以減低污染。

(a) 參考以上資料,為什麼溫家寶總理提出「低污染、高安全」的能源發展方向?試加以解釋。(8 分)

(b) 參考以上資料,溫家寶總理對中國能源發展方向看法的可行性有多大?試加以解釋。(12 分)
陶傑在 (a) 部份認為溫家寶提出「低污染」是為了實踐「科學發展觀」的口號,而提出「高安全」是有見於近年煤礦意外頻仍、煤礦工人生命價值廉賤、煤礦成為血煤。鄧飛讚賞「考生」在這部份答得精采,特別是懂得運用「血煤」二字,可是他也批評考生並無解釋科學發展觀與題目之中的資料的關係,這可能是他沒有給陶傑滿分的原因。

鄧飛的批評是恰當的。每年考試都總有考生,強填一些他們自己不明白的答案,以求「博大霧」。近年企業形式的補習社盛行,有補習老師無所不用其極,教考生旁門左道,更助長這種惡習。「科學發展觀」其中一個要點是可持續發展,陶傑以它作答案當然合理,可是「科學發展觀」這個 umbrella term,除了可持續發展,還包含其他概念。若考生只簡單地用一個含糊的「科學發展觀」來作答,閱卷員實在無從判斷考生到底真的知道「科學發展觀」的內涵,還是亂套詞語。考生解釋時要 elaborate,是考試常識。陶傑不是真的考生,沒有顧及這一層,份屬正常,但是鄧飛的作法也無可挑剔。

諷刺的是,雖然考評局評核發展總經理李王鍏於記者會上批評有線新聞的測試不夠嚴謹,但鄧飛在此處卻作出閱卷員應有的正確判斷。

沒有資料的資料回應題
題目 (b) 部份,陶傑認為溫家寶身為總理,有各種政治考慮,不會明確指出有多少「可行性」,溫家寶講「若有可能」,顯示此事尚未有基礎,可行性相當渺小。最後鄧飛給 4 分,A 老師給 0 分,B 老師給 5 分。報道指有老師批評陶傑的答案離題。

從有線新聞的片段,考評局的評分準則似乎是要求閱卷員考慮考生的解釋是否清楚、直接、詳盡,討論是否深入,結構是否嚴謹,整體上表達得是否清楚;若果考生完全沒有解釋溫家寶提出的能源發展方向可行性有多大,或者所答的與題目毫不相干,得分會較低。純粹從這份準則來看,有老師批評陶傑離題似是無可厚非,只是題目和評分準則本身就大有問題。

首先,通識科考試的設計是避免要求背誦,然而本題完全不含任何可以導出答案的資料,若考生事前沒有背誦過有關材料,根本不足以有所發揮。陶傑從溫家寶的遣詞用字作出揣測,實在勉為其難。

這情況並非只發生在能源題,以新聞沒有報道的卷二 2(b) 題為例,題目要求考生參考題目內的漫畫,解釋社經地位低是否本地家庭暴力的主要成因。然而這兩格漫畫只描述了三件幾乎同時發生的事件(父子衝突、新聞報道貧富懸殊日趨嚴重、新聞報道家庭暴力案件大幅上升),卻無用來判斷因果關係的資料。事實上卷一及卷二的所有試題都有這個毛病。簡短的「延伸回應題」,其實違背「不求背誦」的設計目標

這暴露了通識科考試的一個兩難之處:我們要考核的,究竟是考生的博聞,還是思辯能力?

通識考試之兩難
若考學生是否博聞,那麼考生難免要背誦。然而,若考評局或教育局不提供官方教材,由於社會上值得關注的課題太多,考生不可能事事涉獵,結果考生可能變成依賴補習名師貼題目,造成不公平狀況;若提供官方教材,教材又只能涵蓋特定課題,於是考生的學習範圍既狹窄,教材又容易變成灌輸官方立場的工具,結果,考生並不能因學習而達致「通識」。

若考學生的思辯能力,又只屬「通識」的片面。

為了避免背誦,又要評估思辯能力,較適當的做法是將較具深度或側重大量資料的課題全歸入校內評估,而非用公開試評核。根據《指引》(頁 102),現時預計校內評估佔 20%,這個比重需或許需要調高 5 至 10 個百分點。

公開試方面,試題應該盡量自足 (self-contained),像能源題那種勉強要考生 extrapolate 的題目,可免則免。試題觸及 open-end questions 時亦要小心。有線新聞的測試雖不嚴謹,卻有重要啟示,就是由於通識科講求多角度思考,甚麼叫「離題」就變得模糊起來。閱卷老師批評陶傑離題,但實際上是該老師看事物的層次太低。中共高層的說話往往有很多陶傑稱為「唇語」的潛台詞,不考慮這些唇語,而剎有介事地討論字面議題,未必明智。懂得這點,比起懂得論述能源政策的可行性,對大部份人來說,可能更有用,更能增長他們認識中國的能力。陶傑的答案,不止不算離題,更比評分準則考慮得要深。

如果是中英文作文,題目叫你擬一封申請做「國民教育」主任的求職信,考生當然不可以一句「我唔打算搵工」了事,但是通識講求多角度思考,如果不談自己為何適合這份工作,反而質疑這份工作是否助紂為虐,幫忙政府洗腦,為甚麼應判為離題?

從有線新聞的報道來看,考評局的評分標準 (marking scheme) 沒有指定考生要持某種立場方可得分,這是值得讚許的,可是它卻為考生的思考範疇設下框框。從閱卷員的角度看,這種不容許討論後設問題的想法是相當奇怪的。即使在現有科目,例如物理科,若試題問「一物體質量為 3 kg,以每秒四億公里均速前進,求動量」,而考生沒有計算動量,反指出題目出錯,物體速度不可能比真空中的光速還快,那麼他還是可取滿分的。通識科的 open-end questions 雖不像此例那樣對錯分明,但指出題目本身的毛病反而被指離題,而不被當成一種側面思考,以「通識」之名,實在說不通。

不過讀者也毋須太過擔心評分準則的缺失。一般人對 marking scheme 有個很大的誤解,就是以為它是閱卷員的金科玉律。現實中其實有兩套 marking schemes,一套是擬題員出題目時寫的,另一套是閱卷員所用的。擬題員的 marking scheme 只是一種 proof of concept,是用來說明考生可於合理時間內用合理方式作答,而閱卷員又可以合理方式評分的道具。除非題目答案只牽涉資料或數字,而不涉論證,否則擬題員的 marking scheme 只是閱卷員的參考,而不是必須遵從的守則。事實上,如果題目有論證成份,由於正確的論證方式並非唯一,而擬題員根本不可能事先預見所有正確的論證方式,因此閱卷員實際上會按現實情況修改擬題員的 marking scheme,甚至另撰一份或多份 marking schemes,以應付不同情況。考評局刊出的,一般只是閱卷員寫在 marker's report 的其中一套 marking scheme,其參考價值並非那麼大。今次新聞所攝的是擬題員的 marking scheme,更加缺乏參考價值。

話雖如此,通識科的閱卷員數目之多,也令我懷疑他們如何獲得一致而又合理的評分標準。我以前參與的科目只有七千多考生,每道題目只由一名閱卷員負責,無論是擬定最初的評分準則或是中途作出修改,都只需和主考單獨商議,評分準則因而較一致及具彈性。通識科有三百位閱卷員,平均五十位負責一題,如果每有問題就要召開閱卷員會議,不單費時失事,亦難保證各人均理解並履行會議的決定。如何解決這個溝通問題,相當耐人尋味。

改善通識考試之我見
這並非說通識科的 open-end questions 是評分上不可踰越的障礙,但是為了減低評核的模糊性,最好將 open-end questions 限於短題目,並減低每題的分數比重,簡言之,就是用較多短題目代替少數的長題目。

就試卷的整體設計而言,《指引》說要評估考生「理解和展示思考方法」的十三項能力(見頁 103)。我覺得設計者似乎野心太大,例如十三點之中的第一點「展示對重要意念、概念和辭彙有良好的理解,使能對問題提出具識見的回應」或第八點「能提出合理的建議和適切的解決辦法」,換了閱歷豐富的成年人亦未必做得到,何況未入世的中學生?第九點「持開放和容忍的態度看不同的觀點,特別是非主流而有理據支持的觀點」,更令我不明所以。是否考生的答案令人覺得他看似開放便算開放?你怎知道這不是投其所好的虛偽?

我無意就《指引》所述的十三種能力長篇大論,簡單來說,其意雖好,但未免陳義過高。我覺得將考核的範圍收窄,只評估少數實用的基礎能力就夠,例如:
  1. 分析數字的意義(或缺乏意義),以及分辨數據完整性的能力。這主要針對社會研究方法,亦可針對廣告中的數字運用(例如「強化美白效果十倍」)。
  2. 分辨邏輯謬誤的能力(例如容許《家庭暴力條例》涵蓋同性同居者,長遠會令愛滋病蔓延,更多人成為「養鴨一族」)。
  3. 十三點中的第五點 ── 分辨事實、意見和價值判斷的能力(例如「殺千百人換二十年穩定、經濟騰飛」)。
  4. 分辨雙重標準的能力(例如講「屌屌 fing」、「狗噏」的高官竟指摘講「仆街」、「臭四」及「臭罌出臭草」的議員說粗話 )。
  5. 分辨以中性或正面外貌包裝,但有隱藏議題的詞彙(諸如「重建」、「愛國愛港」、「穩定」、「和諧」、「全球化」等等)。
培養學生擁有上述五項能力,已足夠讓他們看穿不少政府或企業的宣傳技倆,以及養成用同一把尺量人量己的美德。要更深入展示考生對現實課題的見解的話,可以靠校內功課。

結語
不過我得強調,無論怎樣改善,通識科依然有兩個基本上難以解決的問題。第一是若有校內評估,是否意味着不在任何學校就讀的考生不能報考通識科。若通識科的成績影響升學,考評局及教育局就必須解決這個問題。

第二是通識科並不純為通識而設。基本上,它滲入了可觀的「國民教育」成份,《指引》亦不諱言(頁 2)「培養學生 …… 成為有識見、負責任的公民,認同國民身份,並具備世界視野」是通識教育的其中一個宗旨。有趣的是,香港人並不全屬中國國籍,即使是中國公民,《指引》亦無說明所謂「認同國民身份」是甚麼一回事。如果談的是國籍,那是事實性的問題,根本不用花一個課程去說明;如果說的是其他,例如以身為中國人為榮,那麼我們不禁要問,為甚麼「認同國民身份」是一個值得追求的目標。

通識課程之中,「香港居民的身份認同」跟「現代中國」合起來佔了差不多三分一的比重,然而縱觀課程細節甚至樣本試題,都是貌似中性實質植入正面宣傳的成份居多,例如《指引》第 127 頁問:
總理溫家寶強調:「中國進行航天飛行科學實驗,完全出於和平的目的,也是對人類科學與和平事業的貢獻……我們願與世界人民一道,為和平利用太空而携手共進。」溫總理的理想在甚麼程度上獲得實現?
這明顯是將動聽的門面說話當成真相,本質上是藉通識課程植入政治宣傳。類似的例子在《指引》及樣本試題中俯拾即是,以能源題為例,雖然它有問及政策的可行性,但先驗地假設總理的說話必然認真,不會虛應故事。現在這個「總理的理想」不過更加肉麻而已。

以前港府避免在歷史課觸及中國近代史,雖然有所欠缺,但最少比較公平,不會宣傳任何一方的意識形態。現在通識科打破這個禁忌,赤裸裸地用通識之名行愛國教育之實,假使有日試卷竟然出現敏感課題(例如中共貪腐專權、六四屠城、對西藏殖民、壓制香港民主發展等等),結果可能是為了培養十三種能力之中的第九項「持開放和容忍的態度看不同的觀點」,而藉機宣揚官方論調了。

7 則留言:

kursk 說...

非常有意思的分析。已轉載(有問題的話請讓我知道),謝謝!

匿名 說...

短題目很難測試考生對問題能否有更深入的思考和表達、申延。
從經驗所得,短題目更容易給考生死記爛背那些未經消化和理解的所謂 points, key words ,更容易摧發填鴨、讀死書,然後得出高分低能的學生。

方潤 說...

根本就是有隱藏議題。通識科現代中國部分,就是想培養學生認同中國的發展。(不認同不成嗎﹖)

> 即使在現有科目,例如物理科,若試題問「一物體質量為 3 kg,以每秒四億公里均速前進,求動量」,而考生沒有計算動量,反指出題目出錯,物體速度不可能比真空中的光速還快,那麼他還是可取滿分的。

不一定,因為題目只要求學生計算動量而學生沒計過,不中point就沒分。事實上台灣發生過類似的例子,教育部官員稱,學生只需按課程範圍的知識作答便可以。換言之,由於課程沒有教相對論,學生就不需要考慮相對論效應云云……

The suffocated 說...

匿名君,多謝意見。你說短題目很難測試考生對問題能否有更深入的思考,這是當然的,不過我覺得短短的公開試本來就不是適當地深入問問題的場合。時間太短,考生的文筆可能比他們的通識或思考能力更能左右他們的成績,就算是長題目也不例外。

至於你說你的經驗顯示短題目更容易令考生給出死記爛背的答案,但是以我多年閱卷經驗,情況似乎剛剛相反。正因為長題目的答案長(附註:我所謂「長題目」是指預期有長答案的題目,而不是長長的問題,希望本博讀者沒有誤解),不大懂得回答的考生才有更多機會充塞一些他們自己不明所以的字句。當然,我參與的不是人文科目,語文、歷史或通識科老師的經驗可能有所不同。

此外,我想你有點誤會。我說要用短題目取代長題目的是 open-end questions,而且文中亦提到我認為題目本身應該包含足夠的資料,不用考生背誦。既是如此,何來死記爛背?(當然,偶爾還是會有補習名師「貼」中「檸檬茶」題目這類事情的。)

不過閣下的意見也令我反思自己下筆前是否已考慮得夠深入。直覺上我覺得短題目較好,可是文中卻沒有舉出實例說明。這是本文的一個重大缺失。

方潤,算我的例子舉得不好吧,換個例子好了,例如「證明對任何正整數 n, 1^2+2^2+...+n^2 = n(n+1)/2」。總之,以我個人經驗來說,若題目出錯而考生能明確指出題目錯誤的話,他是可取滿分的。至於你提到的台灣案例,我不知細節,難以評論。

至於「隱藏」議題 …… 我覺得當局的做法已經愈來愈赤裸了。

匿名 說...

這幾篇從擬題員或改卷員角度寫的網誌很有趣,作為學生很想知道更多擬題員的思路或想法之類,希望可以多寫。

The suffocated 說...

謝謝,不過我離開「考評界」已久,對現況已經十分脫節了。

Unknown 說...

對於筆者帶出的觀點,我覺得很有啟發性,例如社經地位那條題目,我自己曾經也有補習通識科,日校老師及補習老師仍有教導過如何答,之後再拿出考評,證明自己的答法是對。
  對於老師先講自己的方法點去答題目,點同符合考評聽得多,但係指出問題,而唔係就咁話人地條題目有問題又咩都唔解釋就第一次聽。(不過我認為通識的考評答案十分宏觀,你教人既話,你點講都可以拉到話自己岩,好似事後作返個故事比你咁,所以出邊教通識既老師好難比人質疑。)