發佈日期:2015-11-26

以多維度觀點檢視世界大學排名: 歐盟U-Multirank排名系統簡介

作者:陳明俐

科學計量多元面向大學排名大學排名指標U-Multirankuniversity rankingindicator

文章圖片所有權:https://goo.gl/UeXMyc,Created by Metropolico.org
版權適用聲明:姓名標示─相同方式分享

近十年來,每當知名大學排名系統公佈新一年度的排名結果時,總會引發國內媒體的熱烈報導,並在社會上產生討論與反思,舉凡台灣有幾所大學擠進世界百大之列、有哪些學校的排名屬於進步或退步,抑或是名列「五年五百億」的學校是否因獲得政府大量的補助,而在世界排名上有所提升。在這些討論之下,往往也出現對於排名系統的批評聲浪,如認為排名的依據過於重視學術表現、論文發表情形,特別是採用SCI進行論文數量計算,易對重視人文社會學科發展的學校產生不公;或是排名過程中所採取的指標,並未考慮學門之間的差異等,產生了「蘋果與香蕉一同比較」的荒謬現象;甚至是評比指標過於偏頗,社會影響力、產學連結等議題未獲得重視,更進而導致國內大學過度追求論文發表之畸形現象。事實上,這樣的評論不只在我國的學術界產生漣漪,各國大學或是高等教育政策的利害關係人亦有同樣的擔憂,如何產生適合的大學排名系統是長期以來各方討論的重點議題之一。甚至連文獻計量領域都出現了內省聲音,多位學者於2015年在Nature上聯合發表了萊登宣言(Leiden Manifesto)[1],內文指出目前全球各大學在深受世界排名的結果影響之下,過分執著於競爭世界排名地位,然而許多排名依據的指標卻是定義不清或是過於武斷的詮釋其分析結果,故藉以提出了10項評估準則供各界參考。

有鑑於此,歐盟於2014年正式推出多維面向的排名系統─U-Multirank,且在隔年(2015年)公布第二次評比結果。U-Multirank [2]為歐盟計畫下的執行成果。根據歐盟EUROPA [3]於網頁上的說明,U-Multirank為一獨立的排名系統,但在初始階段的財務支援來自於歐盟。U-Multirank比較了來自於80個國家以上,共計超過1,200所的高等教育機構、1,800位師資、與7,500個系所的教研表現。參與U-Multirank的計畫成員包含了荷蘭高等教育政策研究中心(Center for Higher Education Policy Studies, CHEPS)、德國高等教育中心(Centre for Higher Education, CHE)、荷蘭萊登大學的科學技術研究中心(Centre for Science and Technology Studies from Leiden University, CWTS)、比利時魯汶大學(Katholieke Universiteit Leuven)等單位,該團隊並與各地的大學或研究機構密切合作。

U-Multirank將其定位為使用者導向(user-driven)、利害關係人導向(stakeholder-oriented)、多維度(multi-level )的排名系統,企圖將世界各國的大學進行多維度指標的評比,且將學生、大學管理層、政策制定者、學術界、產業界領袖等關注的面向置入於其中,如當學生欲申請大學時,可能會關心哪一所大學的教學與研究師資最好、與當地企業的連結性最高、是否能找到實習機會;大學管理層可能會希望瞭解自家學校與世界知名大學之間的差距為何,其優勢與劣勢何在,以進行強化與檢討。總括來說,U-Multirank其指標構面共可分為以下五大類:

(1) 教學(teaching and learning)

(2) 研究(research)

(3) 知識移轉(knowledge transfer)

(4) 國際導向(international orientation)

(5) 地區參與(regional engagement)

U-Multirank網頁並提供使用者查詢介面,分別可透過(1) for students、(2) compare、(3) at a glance、(4) readymade的方式進行查詢,讓使用者可藉由系所領域或是特定學校進行排名比較,並呈現比較對象在上述五大構面上的表現為何。U-Multirank結合了各類世界大學排名系統的優點(如 US NEWS & WORLD REPORT , ARWU , THE, QS 等)以及各類大學排名系統的優點,試圖忠實地呈現各校的長處與特色。

為協助讀者瞭解這個新的排名系統,本文將整理U-Multirank各構面的指標內容,並與其他排名系統進行比較,以提供U-Multirank更完整的面貌供讀者參考。

指標設計的構面

U-Multirank的指標設計共分為兩個分析層級,一為機構層級(institutional level ranking),另一為領域層級(field-based ranking)。兩種分析層級的評比構面皆為相同,但在指標上則略有不同[4]。表1列出機構層級的評比構面與指標列表。

表1 機構層級(institutional level)的評比構面與指標列表

構面指標
教學
teaching and learning
.學士畢業率Bachelor graduation rate
.碩士畢業率Masters graduation rate
.學士畢業時間是否準時Graduating on time (bachelors)
.碩士畢業時間是否準時Graduating on time (masters)
研究
research
.論文被引用率Citation rate
.論文發表量(絕對值)Research publications (absolute numbers)
.論文發表量(標準化值)Research publications (size-normalised)
.外部研究收入External research income
.藝術相關的產出Art related output
.高被引用論文數Top cited publications
.跨領域論文數Interdisciplinary publications
.博士後職位數Post-doc positions
知識移轉
knowledge transfer
.產學共著論文數Co-publications with industrial partners
.來自企業資助的研究收入Income from private sources
.專利核准數(絕對值)Patents awarded (absolute numbers)
.專利核准數(標準化值)Patents awarded (size-normalised)
.產學共享專利Industry co-patents
.衍生企業數Spin-offs
.論文被專利引用數Publications cited in patents
.收入來自於持續專業發展的項目Income from continuous professional development
國際導向
international orientation
.外國學士學程Foreign language bachelor programmes
.外國碩士學程Foreign language master programmes
.學生的國際移動力Student mobility
.教員的國際化程度International academic staff
.國際合作論文數International joint publications
.授予國外學生的博士學位數International doctorate degrees
地區參與
regional engagement
.學生在地區內的實習項目數Student internships in the region
.與地區內機構的共著論文數Regional joint publications
.收入來自於地區內的資助管道Income from regional sources
.學士畢業生在地區內的工作情形Bachelor graduates working in the region
.碩士畢業生在地區內的工作情形Master graduates working in the region


從表1可知,U-Multirank的指標設計思維與其他知名大學排名系統略有不同,其所強調的多維度,是希望能摒除現行世界大學排名系統的缺點,試圖取得各大學排名系統的優點聯集。如Leiden Ranking主要以大學或研究機構的論文發表情形作為排名依據,教學表現並非其所注重之項目。而學生赴美留學時所參考的排名權威─US NEWS & WORLD REPORT,雖然也以多種面向進行各大學各科系的排名(以graduate engineering programs為例,其大學排名指標構面為同儕評鑑、招生、學生GRE quantitative平均分數、錄取率、師生比、教師入選為美國國家工程學院院士比例、博士學位取得數、研發經費)[5],但其排名查詢系統卻是呈現綜合各指標下的結果。反倒是U-Multirank的設計思維,使用者可依據其所關注的重點,進行學校的排名比較。如同U-Multirank於網頁上喊出的口號” Universities compared. Your way.”一樣,若使用者在意的是學校的研究表現,則可到研究這個維度進行學校排名分析;若使用者在意的是學校的知識移轉情形,想得知哪間學校與企業的共同研發比例最高,最易取得業界資源,則可透過知識移轉這個構面進行排名查詢。

U-Multirank的另一特色便是加入學生的學習與參與意見,舉凡目前各大學排名系統,鮮少呈現學生調查資料的結果。但歐盟在波隆那宣言(Bologna Declaration)的所宣示的理念之一「推動學生跨國移動與教師國際流動」下,學生或研究人員無不開始重視各校的教學與課程品質,以及各校能提供的研究環境與資源,故學生對於各大學的排名意識就顯得相當重要[6]。甚至是學生在思考未來的國際交換學校為何時,其所會考慮的面向,更應被反映於排名系統上,故U-Multirank展開了大規模的學生調查,並將其結果融合於排名系統之中。以2014年版的U-Multirank為例,其排名即參考了來自於超過60,000名的學生於線上問卷填答之結果。

與其他大學排名系統的比較

如前文所提,U-Multirank企圖呈現多維度的指標評比結果。綜觀其他知名的大學排名系統[7],雖亦是摒除單一構面評比所產生的詬病,試圖呈現綜合指標評比結果,但其排名重點與指標構面仍易於重視學術發表情形或是調查資料對象僅採納專家學者意見,而忽略了大學最主要的利害關係人─學生們的意見,故此特色為U-Multirank與其他大學排名系統的最大差異之處。除此之外,細看各大學排名系統的指標構面下所採計的指標,U-Multirank展現出重視社會影響力的特點,強調學術研究擴散於產業研究的後續效益,以及透過重視地區參與及國際化程度的構面,以勾勒出各大學的經營是否得以永續的情形。

表2 各大學排名系統比較

排名系統排名重點指標構面調查資料對象
US NEWS & WORLD REPORT [8]教學研綜合學術聲望
學生畢業率
師資資源
學生入學條件
財務支援
研究所就讀情形
校友評分
學者專家
大學內部職員
Leiden Ranking[9]學術表現影響指標
合作指標
N/A
泰晤士高等教育世界大學排名[10]教學研綜合教學
研究
論文被引用
產業收入與創新
國際化程度
學者專家
QS世界大學[11]教學研綜合學術聲譽
大學職員聲譽
師生比
研究人員論文被引用情形
國際學生比例
國際教員比例
學者專家
大學內部職員
上海交通大學
大學排名[12]
學術表現教育品質
教師素質
科研成果
師均表現
N/A
U-Multirank教學研綜合教學
研究
知識移轉
國際導向
地區參與
學生

多元指標是否能產生真正變革?

儘管外界對U-Multirank標榜的多元指標概念深感認同,如歐洲大學協會在U-Multirank排名結果推出至今已超過一年後,進行了問卷調查[13],來自於瑞典與挪威的大學表示U-Multirank有助於平衡現行排名系統(如THE、QS)無法提供之面向所導致的偏誤情形、提供了更為透明、多元面向且使用者友善的排名查詢工具。然而U-Multirank的推廣成效似乎未如預期。在問卷調查中,其結果指出仍有約四成的大學不願參考或採用U-Multirank的排名結果。而各大學的擔憂包含了資料蒐集的品質(信度、效度)、指標分析結果不易詮釋(特別是拉高到國家層級)等。其中次級資料的蒐集是相當耗時、耗人力的過程,許多資料在不易取得之下,或是無法明確區分其來源比例(如研究資金到底有多少比例是來自於企業捐助)的情況下,許多結果只能以估計值呈現,故可能對排名結果產生部分偏誤。事實上,並非所有歐洲大學協會的成員皆有參與U-Multirank的計畫之中,根據調查結果指出,尚未參加的成員中,有五成表示其未參加的主要原因是仍在觀望U-Multirank的推行成果,顯示其對U-Multirank是否能真正對世界大學排名系統產生變革而有所存疑,顯示U-Multirank還有很長的一段路要走。而根據龔祐祿[14]於2012年的研究分析亦指出,U-Multirank的參與學校數若是過少,將無法發揮其真正的影響力。因此,即便至今已有超過1,200所高等教育機構參與該計畫,但仍佔全球整體比例相當低,在多數學校未參與此計畫或是指標數據資料未涵蓋全球多數學校的情況下,U-Multirank如何提升其排名系統的信度與效度,是未來需努力改善之方向。

本篇主要著重於介紹U-Multirank的指標內容,並與其他知名大學排名系統所採取的分析構面、資料蒐集來源進行比較。有關台灣各大學於U-Multirank的排名表現,將於下篇文章另行介紹與分析。

參考文獻

  1. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520(7548), 429-431.
  2. U-Multirank網頁 http://www.u-multirank.eu/ accessed on 2015/10/06.
  3. EUROPA網頁上對U-Multirank的介紹。http://ec.europa.eu/education/tools/u-multirank_en.htm
  4. U-Multirank Indicator Book: Ranking Indicators 2015. http://pre.umultirank.org/cms/wp-content/uploads/2014/10/Indicator-Book-2015.pdf accessed on 2015/07/28
  5. Flanigan, S. & Morse. R. (2015). Methodology: 2016 Best Engineering Schools Rankings. http://www.usnews.com/education/best-graduate-schools/articles/engineering-schools-methodology accessed on 2015/07/28
  6. 池俊吉(2012)。學生調查資料運用在國內與國際排名的實務分析。評鑑雙月刊,第38期。
  7. 陳明俐、紀凱齡、邱錦田、林品華、楊智元(2013)。強化學術評鑑多元化機制之社會影響力(3)-以學門或系所為實踐的多元指標之評比。http://portal.stpi.narl.org.tw/index/article/22 accessed on 2015/07/28
  8. US NEWS & WORLD REPORT (2015). Best College Ranking. http://colleges.usnews.rankingsandreviews.com/best-colleges access on 2015/10/05
  9. CWTS (2015). Leiden Ranking 2015: Methodology. http://www.leidenranking.com/methodology accessed on 2015/07/28
  10. Times Higher Education World University Rankings: Methodology https://www.timeshighereducation.co.uk/world-university-rankings/2015/world-ranking/methodology accessed on 2015/07/28
  11. QS (2014). QS World University Rankings: Methodology. http://www.topuniversities.com/university-rankings-articles/world-university-rankings/qs-world-university-rankings-methodology accessed on 2015/07/28
  12. 上海交通大學(2014)。世界大學學術排名ARWU2014: 排名方法http://www.shanghairanking.cn/ARWU-Methodology-2014.html accessed on 2015/07/28
  13. Loukkola, T. & Morais, R. (2015). EUA members' participation in U-Multirank: Experiences from the first round. European University Association. http://www.eua.be/Libraries/publications-homepage-list/EUA_UMR_Publication_web accessed on 2015/07/28
  14. 龔祐祿(2012)。歐盟「多面向全球大學排名」之研究。教育研究月刊,第219期,頁114-128。