發佈日期:2019-03-29

我們應該如看待世界大學排名?-THE Ranking、QS Ranking與ARWU排名綜和比較與其所帶來的啟示

作者:陳明俐

大學排名 高等教育 書目計量 University Ranking Higher Education Bibliometrics

文章圖片所有權: https://reurl.cc/v0ApA ,Created by Aymanejed
版權適用聲明: CC0 Public Domain-可以做商業用途-不要求署名

1 1

一、前言

2 2

各大學在世界大學排名的表現,長久以來是各方專注的焦點。特別是新年度的排名結果公布時,總引發各界議論;不僅是大學校方本身極為在意排名上升或下降,整個學研界、新聞媒體、一般民眾、甚至是政策制定者皆有所關切。現今全球最受矚目的世界大學排名系統分別為泰晤士高等教育世界大學排名(Time Higher Education Ranking, THE Ranking)、QS大學排名(QS Ranking)與世界大學學術排名(Academic Ranking of World University, ARWU),然而這些排名系統所使用的計算方法與資料來源也大相逕庭,因此也使得各校的排名結果有所差異,甚至出現不一致的情況,如某校和去年排名結果相比,在THE Ranking排名上升,但在QS排名卻下降。事實上,各世界大學排名系統有其目標與著重的評比特點,因而影響了其排名的計算方法。各界在看待大學排名結果時,應首重釐清各排名系統的特點與方法論,再來看待排名表現與思考後續的改變策略;而非僅在意名次變化,忽略了大學排名的本質。本文試圖比較THE Ranking、QS Ranking、ARWU在排名方法論上的差異,以及以國內台、成、清、交四所頂尖大學在不同排名系統上的歷年名次變化作為說明範例;最後並提出應如何正確看待大學排名之建議。

3 3

二、不同排名系統的指標組成結構

4 4

一般而言,世界大學排名的評比方式主要從幾個面向出發,如教學、研究、國際化與產業連結等。各面向的權重也不同,使得決定排名的「公式」有所差別。以下整理THE Ranking、QS Ranking與ARWU的指標組成與權重。

5 5

表1 泰晤士高等教育世界大學排名(Time Higher Education Ranking)

教學30% 聲望調查 15%
師生比例 4.5%
博士生與大學部學生人數比例 2.25%
授予博士學位人數與研究人員比例 6%
機構收入 2.25%
研究30% 聲望調查 18%
研究收入 6%
研究生產力 6%
研究影響力30% 論文被引用情形 30%
國際化 7.5% 國際學生與本地學生比例 2.5%
國際教職員與本地教職員比例 2.5%
國際合作共著論文 2.5%
產業收入2.5% 企業收入 2.5%
資料來源:THE Ranking (2019),本研究整理。
6 6

表2 QS世界大學排名(QS Ranking)

學術聲望40%
雇主聲望10%
師生比20%
教師論文平均被引用數20%
國際師資占比5%
國際學生占比5%
資料來源:QS Ranking (2019),本研究整理。
7 7

表3 世界大學學術排名(ARWU)

教育品質10% 獲得諾貝爾獎或菲爾茲獎的校友人數 10%
教師品質40% 獲得諾貝爾獎或菲爾茲獎的教師人數 20%
入選為高被引用學者的人數 20%
研究產出40% 發表於Nature或Science期刊的論文篇數 20%
發表於SCI或SSCI的論文篇數 20%
師均表現10% 機構內教師平均研究表現 10%
資料來源:ARWU Ranking (2019),本研究整理。
8 8

從上述可得知,THE Ranking與QS Ranking的評比公式,主要重視教學、研究與國際化,ARWU則較重視教師的研究表現。THE Ranking與QS Ranking各有指標與師生比有關,且重視該校在招聘國際教師與學生的表現。另外,THE Ranking與QS Ranking在部分指標的評比,都採用了聲望調查,而非以次級資料蒐整。在論文發表相關指標中,可發現THE Ranking與ARWU極重視論文發表,THE與論文發表有關之指標包含了研究生產力(6%)、論文被引用情形(30%)與國際合作共著論文(2.5%),表示在排名的計算過程中,與論文發表有關的權重共佔了38.5%;ARWU則有發表與Nature或Science期刊的論文篇數(20%)與發表於SCI或SSCI的論文篇數(20%)的指標,共佔40%,且佔比10%的師均表現指標為其他五個指標的平均,顯示論文發表亦有影響該面向可獲得的分數,再加上教師品質中,有20%的分數來自於該校入選為高被引用學者的人數,而該指標又確實與論文發表有直接關聯,表示ARWU的排名計算公式中,與論文有關之指標,可高達60%以上。

9 9

綜合來看,THE Ranking的排名公式注重面向較為全面,教學、研究、國際化與產業連結都有涵蓋於其中,顯示THE Ranking的排名結果可呈現一所大學的綜合表現;QS Ranking亦重視教學與研究;而ARWU的排名高低,則反映了該大學在學術表現上的成就。

10 10

三、書目資料選擇來源

11 11

不論THE Ranking、QS Ranking與ARWU,其評比指標皆有使用書目計量指標─如論文被引用數,故使得書目資料庫的選擇也是關鍵議題。在最新一版的排名結果,THE Ranking與QS Ranking皆是使用Elsevier旗下的Scopus資料庫,而ARWU則使用Clarivate Analytics的Web of Science。事實上,不同的書目資料庫其所收錄的論文範圍會有所差異,每篇論文所累積的被引用次數也會不同,甚至書目計量指標的計算方法也會因公司不同而有所差異,且領域標準化(field-normalization)的計算方式未必會被完整揭露。

12 12

舉例來說,在2018-2019年版本中,QS Ranking的教師論文平均被引用數(20%)的計算方式為採計2012-2016年間所發表的論文,而被引用數的引用期間(citation window)則是計算2012-2017年間。同樣是2018-2019年版本,也是使用Scopus資料庫的THE Ranking,在論文被引用情形(30%)的指標計算方式,則是採計2013-2017年間所發表的論文,被引用數則將引用期間設定為2013-2018年。上述說明表示,即便是概念相近的指標,使用同樣的書目資料庫,在不同的排名系統中,其指標所採計的資料範圍便有所差異,顯示在看待排名結果時,需更加留意是討論「何時發表」的學術表現。

13 13

四、學校清單收錄範圍

14 14

不論是THE Ranking、QS Ranking或ARWU,都持續在增加可列入排名計算的學校清單,使得收錄範圍越來越廣。THE Rankin在2018-2019年版本中,共計已有1,258所大學機構獲得排名,對比2014-2015年版本僅有401所大學列入大學排名的清單中,THE Ranking正逐漸擴大其評比範圍。ARWU自2017年起,也將排名範圍從世界前五百大,擴增到世界前八百大,2018年再增加至世界前一千大。而隨著收錄範圍的擴大,也會導致各校的排名出現變化,但須留意大學的名次下降未必完全與績效不佳有所連結,而可能是因為收錄的大學名單變多,而導致名次出現改變(Waltman, Wouters & van Eck, 2017)。除此之外,上述世界大學排名系統雖標榜世界大學排名,以全球各地的大學作為收錄範圍,但仍有其的地理位置的偏好。如ARWU較為偏好北美洲與西歐地區,QS Ranking與THE Ranking則較偏好安格魯薩克遜(Anglo-Saxon)國家,如英國、加拿大與澳洲等英語系國家(Moed, 2017)。簡言之,在解讀大學排名時,也須對該排名系統的學校清單收錄範圍有所瞭解,以避免解讀錯誤。

15 15

五、國內頂尖大學在不同世界大學排名系統的近年表現變化

16 16

以下整理了國立臺灣大學、國立成功大學、國立清華大學與國立交通大學在不同世界大學排名系統的近年表現變化。以台大為例,其在THE Ranking的排名變化略有起伏,以2014-2015年的表現為最佳,排名全球第155名,然2016-2017年卻下滑至第195名,2017-2018年更是來到近五年的最低點─第198名,但卻在今年由谷底躍升至第170名。在QS Ranking的表現中,則較為一致,約在60-80名之間徘徊。在ARWU中,則是以2014-2015年間表現為最佳,後續則維持在第151-200名之內。但若仔細觀察,可發現不同的世界大學排名所呈現的結果未有一致,如台大在2016-2017年的表現,在THE Ranking已下滑至195名,但在QS Ranking卻上升至68名。

17 17

表4 台大在近五年的世界大學排名名次變化

Ranking 2014-2015 2015-2016 2016-2017 2017-2018 2018-2019
THE 155 167 195 198 170
QS 76 70 68 76 72
ARWU 101-150 151-200 151-200 151-200 151-200
資料來源:THE Ranking (2019), QS Ranking (2019), ARWU Ranking (2019),本研究整理。
18 18

表5 成大在近五年的世界大學排名名次變化

Ranking 2014-2015 2015-2016 2016-2017 2017-2018 2018-2019
THE 351-400 401-500 401-500 501-600 501-600
QS 232 224 241 222 234
ARWU 201-300 301-400 401-500 301-400 301-400
資料來源:THE Ranking (2019), QS Ranking (2019), ARWU Ranking (2019),本研究整理。
19 19

表6 清大在近五年的世界大學排名名次變化

Ranking 2014-2015 2015-2016 2016-2017 2017-2018 2018-2019
THE 251-275 251-300 251-300 301-350 401-500
QS 167 155 151 161 163
ARWU 201-300 201-300 301-400 301-400 401-500
資料來源:THE Ranking (2019), QS Ranking (2019), ARWU Ranking (2019),本研究整理。
20 20

表7 交大在近五年的世界大學排名名次變化

Ranking 2014-2015 2015-2016 2016-2017 2017-2018 2018-2019
THE 276-300 301-350 401-500 401-500 501-600
QS 202 182 174 207 208
ARWU 301-400 301-400 401-500 301-400 501-600
資料來源:THE Ranking (2019), QS Ranking (2019), ARWU Ranking (2019),本研究整理。
21 21

由於各個世界大學排名系統,排名結果是由一連串的指標表現所組成,而非單一指標,故在看待排名的歷年變化時,更不應把「戰犯」直指單一指標,如簡化成排名下降的原因是論文發表表現不佳,而更應仔細檢視每一個指標的分數變化,以得知原因出於何方。以台大在THE Ranking的近三年排名結果為例,其整體評比下的排名分別為第195名、第198名與第170名。如圖1所示,在教學、研究、論文影響力與國際化的面向上,各指標的表現並無太大差異,然在產業收入的面向中,卻從2016-2017年的47.8分上升至2018-2019年的63.2分,顯示讓台大在近三年的THE Ranking中,排名能從谷底翻身的關鍵在於產業收入這項指標的表現。此外,在佔比較高的面向,如教學(30%),台大在2017-2018年版本的分數為50.4分,但在2018-2019年則上升至54.9分;論文影響力(30%)的面向中,在2017-2018年版本為53.4分,2018-2019年上升至59.4分。由於教學與論文影響力的佔比極高,故使得整體排名可有明顯成長。

22 22

圖1 台、成、清、交在THE Ranking各項面向的表現

資料來源:THE Ranking (2019), QS Ranking (2019), ARWU Ranking (2019), 本研究整理。
23 23

再以清大為例,在2016-2017年版本的THE Ranking中,位於第251-300名區間,2017-2018年下降至第301-350名,2018-2019年版本則跌落至第401-500名,實為警訊。檢視其各項指標在近三年的表現,可發現該校在國際化指標表現有所成長,自2016-2017年的26.6分上升至2018-2019年的33.2分,然該指標佔排名計算公式的權重僅7.5%。佔比較高的教學(30%),清大在2016-2017年版本的分數為38.7分,但2018-2019年版本卻下降至僅有31.2分;研究(30%)的表現亦有相似趨勢,自2016-2017年版本的40.1分下降至2018-2019年的35.6分。然而在論文影響力(30%)則無太大的差異,2016-2017年與2018-2019年皆為55.8分。換言之,造成排名下滑的主因為教學與研究面向的分數。但值得留意的是,教學與研究雖各佔比30%,但仔細檢視其內部的指標結構,分別有15%與18%的聲望調查。聲望調查為主觀資訊,是THE Ranking透過前一年的學術聲望(Academic Reputation Survey)的結果計算得至,其調查問卷回收了超過20,000份的回覆。對各校來說,聲望調查為大學在特定領域中,國際同儕對其的評價,也可代表該校在國際領域的知名度,雖未能直接反映出各校實際上在教學與研究的表現,但某種程度仍可反映國際同儕是否認同為教學與研究的典範大學。

24 24

圖1中,成大與清大在近三年的各面向指標分數雖無明顯變化,整體排名名次雖未有劇烈變化,然而其排名在2018-2019年下降卻是不爭事實。仔細檢視各面向的分數可發現,成大與交大在2018-2019年版本中,論文影響力或所得的分數皆是近三年最低。成大近三年的論文影響力分數分別為29.2、28.3與26.0;交大則是35.3、31.5與27.5。如同前面所述,論文影響力在整體排名的影響權重佔了30%,因此即便其他指標表現持平,但因權重較高的指標其表現出現下滑,便會連帶影響整體排名。

25 25

六、我們應如何看待大學排名

26 26

綜合上述討論,可得知世界大學排名系統的排名結果並非名次數字如此簡單,其背後所使用的資訊極多,評比方式也非單一指標,而是有複雜的指標組成與權重,故排名結果所表示的意義也比想像中的複雜。近年來,每當世界大學排名結果公告,各校甚至是新聞媒體與一般民眾,皆會熱烈討論各校名次的變化,並試圖尋找造成排名上升或下降的原因為何。然而,一所大學的評比實為複雜,世界上也未存在一個完美的指標或是指標組合可予以呈現,而是僅能在各自所擁有的數據與架構下,提出排名的觀點。換言之,當我們在看待大學排名時,不應視其為該校的「治理績效」如此簡單,也不該隨意將排名結果與其他投入資源輕易連結,如認為排名下降是因為論文發表的表現不佳,而衍伸至研究經費的匱乏,相反地,我們更應審慎地看待排名結果,並抽絲剝繭,整理出導致排名改變的關鍵因素為何,再尋求改善策略。世界大學排名的結果應是一所大學的「體檢成績單」,而非一所大學的「健康程度」。

27 27

有關應如何正確看待大學排名,萊登大學CWTS中負責萊登排名(Leiden Ranking)的團隊提出了十點建議,可歸類至三大面向(Waltman, Wouters, van Eck, 2017):

28 28

大學排名的設計
(1)不應以大學表現作為一般概念。
(2)在衡量大學表現時,指標的使用須區辨與規模無關之指標(size-independent)或是與規模有關之指標(size-dependent)。
(3)應以一致的方式定義大學。
(4)大學排名須具備足夠的透明度。
大學排名的結果詮釋
(5)對各大學進行比較時應考量大學之間的差異。
(6)須體認大學排名的不確定性。
(7)應避免專注於大學在大學排名的排名結果裡,而是應考慮基本指標的價值。
大學排名的使用
(8)不應忽視大學排名未使用到的績效衡量構面。
(9)不應自動假設大學的整體績效與大學內各系所研究團隊的表現水準有相關性。
(10)應審慎處理大學排名,但不應視其為完全無用。
29 29

總結以上討論,世界大學排名系統並非洪水猛獸,然各界在解讀過程中,往往流於只在意名次變化,而缺乏對排名的整體認知,進而造成對大學排名的誤解。然而,大學排名的評比方式雖未能完美,也有其資料庫來源與指標選擇的限制,但其評比結果仍有其參考意義。因此,本文提出以下建議,作為後續看待世界大學排名的參考。

30 30
  • (1)在解讀世界大學排名結果時,應留意該排名系統的資料收錄範圍、評比學校清單、使用的指標與權重,以及書目資料庫的選擇。
  • (2)不同世界大學排名系統有其目標與方法論,應體認其差異所在。
  • (3)應避免過度糾結大學排名的名次變化,且勿將排名上升或下降的現象歸咎於單一指標的表現。
31 31

備註

32 32

1THE World University Rankings 2019 https://www.timeshighereducation.com/world-university-rankings/2019/world-ranking#!/page/0/length/25/sort_by/rank/sort_order/asc/cols/stats2QS World University Ranking 2019https://www.topuniversities.com/university-rankings/world-university-rankings/20193Academic Ranking of World Universities 2018http://www.shanghairanking.com/ARWU2018.html

33 33

參考文獻

  1. Moed, H. F. (2017). A critical comparative analysis of five world university rankings. Scientometrics, 110(2), 967-990.
  2. Waltman, L., Wouters, P. & van Eck, N.J. (2017, May 17).Ten principles for the responsible use of university rankings. Retrieve from https://www.cwts.nl/blog?article=n-r2q274