強化學術評鑑多元化機制之社會影響力(3) 以學門或系所為實踐的多元指標之評比

導讀
為了瞭解國內外目前現有且較為知名的學術評鑑在指標設計上,是否存有社會影響力之精神,本文整理了六種學術評鑑方式,並進行比較。建議當前大學評鑑機制應以更細膩的學科握領域類別,制定更為殊異化的評鑑指標,且同時加強社會貢獻指標的重要性。

為了瞭解國內外目前現有且較為知名的學術評鑑在指標設計上,是否存有社會影響力之精神,本文將整理由台灣大學所執行的世界大學科研論文質量評比指標、英國Research Excellence Framework、QS世界大學排名、荷蘭萊登大學世界大學排名、上海交通大學世界大學學術排名、泰晤士報高等教育世界大學排名等六種學術評鑑方式。

一、NTU Ranking

HEEACT Ranking (Higher Education Evaluation & Accreditation Council of Taiwan)為財團法人高等教育評鑑中心基金會自2007年起開始針對世界大學科研論文的質量進行評比,然而分領域與分學門評比自2011年則轉由國立台灣大學獨立執行與公布,名稱並由HEEACT Ranking改為National Taiwan University Ranking (NTU Ranking),但不分領域仍由HEEACT公布。而2012年起,NTU Ranking再加入不分領域評比、六大領域評比與14學門評比。

相較於其他機構所執行的評比,上海交大強調學術評比、THE與QS著重於大學評比,NTU Ranking則以科研論文的質量表現作為各大學的領域排名,並針對邁入研究型大學為目標的國家之學校,設計一套可讓多數學校在現階段努力後即可達成的適切指標。

以各領域進行評比排名主要原因為整體排名並未能真實反映各機構在不同領域上的表現,一般大眾無法透過世界大學的排名瞭解各校的優勢領域為何,且易因學校重點領域的不同,在排名上會產生決定性的影響。而學門評比部分,由於學門排名多以單一國家的評鑑為主,如美國U.S. NEWSAmerica’s Best College/Graduate School、英國泰晤士報Good University Guide、英國衛報University Guide德國高等教育發展中心CHE University Ranking,鮮少有全球性的學門評鑑,目前僅有上海交大提供學門排名結果。NTU Ranking於2011年開始針對理工農共計三大學群、13學門進行評比,其指標與權重設計則與領域評比相同。但在2012年起則調整為14學門,且不分學群進行排名評比。14學門分別為:農業科學、環境/生態學、植物與動物科學、資訊、化工(含能源)、土木(含環工、電機、機械、材料科學、藥理與毒物學、化學、地球科學、數學,及物理學門;領域分類則如表1所示。

表1 六大領域

領域 次領域
農學 農業科學
生態/環境學
植物與動物科學
臨床醫學 臨床醫學
精神病學
工學 電腦科學
工程
材料科學
生命科學 生物與生化
免疫學
微生物學
分子生物與遺傳學
神經科學與行為
藥理學與毒物學
理學 化學
地球科學
數學
物理
太空科學
心理學
社會科學 經濟與商業
一般社會科學

指標設計上,領域評比與學門評比的指標設計概念皆為相同,分為三大構面並輔以權重計算。細部指標與權重分布則如表2所示。

  • (一)學術生產力25%:以論文發表數作為主要的指標,反映各機構及各領域/學門在科技活動發展的程度。
  • (二)學術影響力35%:以論文被引次數作為主要的指標,反映論文在該領域/學門的影響力為何;並分別呈現長期(近11年)、短期(近2年)的影響力;領域/學門的平均被引次數則可計算機構內於該領域/學門的每篇論文的影響程度,透過平均數計算,將各機構於研究人數的差距所造成的計算誤差降低,以同時考量論文品質與學校規模。
  • (三)學術卓越性40%:以三項指標所組成,其中將H-index計算公式延伸至各校各領域的論文層級,即定義為「一所學校擁有h篇被引次數達h次以上的各領域/學門論文,且該校該領域/學門內之其他論文被引次數皆小於或等於h次時,該校即得到其領域/學門的H-index」,藉由此指標瞭解各校各領域/學門的論文於質、量上的表現;領域/學門內的高被引用文章數的定義則計算各領域/學門被引用次數排行榜中前1%的文章數為何;領域/學門內高影響期刊論文數則計算發表於各領域/學門影響係數排名前5%的期刊之文章數為何。

表2細部指標與權重分布

構面 2012年排名指標 權重(%)
學術生產力 近11年論文數 10 25
當年論文數 15
學術影響力 近11年論文被引次數 15 35
近2年論文被引次數 10
近11年論文平均被引次數 10
學術卓越性 近2年h-index 10 40
高被引文章數(top1%) 15
高影響期刊論文數(top5%) 15

事實上,可從2011年的評比權重與2012年的權重占比上看出其評鑑的主軸已開始改變(見表3),在學術影響力部分,從30%調高至35%,長時間的論文被引用次數權重調高,顯示影響力部分強調的為長期的學術研究成果擴散,而非只著重於短期。

表3 指標權重調整

構面 指標 2011年權重(%) 2012年權重(%)
學術生產力 近11年論文數 10 20 10 25
當年論文數 10 15
學術影響力 近11年論文被引次數 10 30 15 35
近2年論文被引次數 10 10
近11年論文平均被引次數 10 10
學術卓越性 近2年h-index 20 50 10 40
高被引文章數(top1%) 15 15
高影響期刊論文數(top5%) 15 15

NTU Ranking雖在2012年的構面與權重設計開始加強學術影響力的部分,但整體指標的內涵仍是以論文產出為主。在現今強調學術研究的課責性時,僅用學術論文作為各機構的排名依據,時而受到各方質疑。儘管NTU Ranking開宗明義即強調該指標系統主要是要反映論文的質與量,但在論文品質的部分,是否仍以論文被引用數作為衡量的依據,為該指標系統需要思考之處。

二、英國Research Excellence Framework

英國長久連貫的學術研究評估(Research Assessment Exercise, RAE)在海外受到好評,自1986年起,針對學術研究品質發展出一套同儕評估的方法。其成功經驗吸引許多國家跟進學習,如澳洲、紐西蘭、部分北歐國家甚至直接套用。法國與德國也跟隨同樣腳步積極推行大學的改革。RAE每四至五年即針對全國大學各學門(subject)進行評估,其結果除提供給一般民眾作為科系就讀選擇的參考外,也提供給學術研究經費補助機構作為資源分配的依據。2008年為RAE的第六次施行,其主要評估構面為三大部分:(1)研究產出70%、(2)研究環境20%、(3)知名度指標10%。而評分等級則分為四等級,檢視該研究成果在原創性、重要性、嚴謹性達到何種等級。

為了更有效率且明確地評鑑學術研究成果,英國於2008年提出新的評鑑架構,研究卓越架構(Research Excellence Framework, REF),並於2010年起開始逐步實施,預定2014年全面取代原有的2008RAE。新舊兩版評鑑架構的差異主要在於REF大幅提升研究影響力的權重(見表4)。隨著學術研究成果的評估指標應重視該研究是否對社會產生足夠影響力的論點越發受到一般大眾的重視,因此REF在評估構面上提出了研究影響力,在權重上占整體的20%,且研究影響力的可評估範圍包含了:經濟、社會、公共政策與服務、健康、環境、文化、生活品質等。而各項指標的評分等級的敘述說明,也強調研究需產生開創性或變革性的影響與價值(見表5)。

表4 RAE與REF於評估構面與權重上的差異

2008 RAE 2014 REF
評估構面 權重 評估構面 權重
研究產出 research outputs 70% 研究產出 research outputs 65%
研究環境 research environment 20% 研究環境 research environment 15%
知名度指標 esteem indicators 10% 研究影響力 research impact 20%

表5 RAE與REF於評分等級敘述上的差異

等級 2008 RAE 2014 REF
4* 在原創性、重要性和嚴謹性方面處於世界領先水準。 卓越:被證明產生了廣泛的開創性或變革性的影響和價值。
3* 在原創性、重要性和嚴謹性處於國際先進水準,但尚未達到最先進。 優秀:被證明在一些方面產生了高度重要或創新性影響。
2* 在原創性、重要性和嚴謹性方面得到國際認可。 很好:被證明產生了廣泛的實質性而非增量性影響或改善。
1* 在原創性、重要性和嚴謹性方面得到國內認可。 好:被證明在一定範圍內產生了增量改善或過程創新。
無級別 水準未達到國內認可的標準,或者不符合此項指標定義的研究標準。 研究影響的範圍或重要性微乎其微,或研究質量不高,或研究活動對所在學科單元的影響沒有產生有意義的貢獻。

在領域的分類上,則將所有學科進行分類,且每個學科有不同的評鑑方式(見表6)。學科分類將以是否以科學為基礎作為主要的分類方式,並再向下細分。而不同類別的學科在評鑑方式也有著差異存在,而非所有評鑑方式一體適用於各個學科。以科學為基礎的學科,主要透過書目計量指標作為研究影響力的評鑑方式,屬於量化數據指標;但非科學為基礎的學科則以同儕評鑑方式進行,

表6 學科分類與其主要評鑑方式

學科分類 主要評鑑方式
以科學為基礎的學科 a.臨床醫學
b.健康科學(health sciences)
c.與健康相關的學科(subjects allied to health)
d.生物科學
e.物理科學及機械
f.電腦科學
‧透過書目計量指標來評鑑學術研究的品質。
‧將更動2008年RAE的部分同儕評量元素(peer review elements)。
‧計算研究產出的被引用指標(citation indicators)。
非以科學為基礎的學科 a.藝術、人文(humanities)
b.社會科學
c.數學與統計
將於2013年發展一套新的以同儕檢視「輕輕碰觸」過程為主的計算公式(a new light touch peer review process informed by metrics)

除此之外,每個學科可再自行決定實際的評鑑方式為何,如是否需參考書目計量指標、研究影響力的評估項目是否須著重社會服務等,甚至是各系所在評鑑時,所需的繳交的文件型態為何,皆由各學科內的專家小組達成共識後所決定。

REF雖針對書目計量指標使用於研究品質評估的發展進行先導性研究,但其得到的結論卻是研究產出的引用資訊並無法提供完整的研究品質訊息,也無法作為主要的評估指標,但其所分析得到的量化數據是可供專家小組參考之用,且強調“Citation-based index proposed is an indicator, not a measure, of a research quality.”

儘管REF是以學術研究表現進行評比,自然而然會以學術產出作為評比對象,但在指標構面上也逐漸加強研究影響力之部分,甚至更為強調學術研究的卓越程度。不同於多數評鑑指標或排名評比系統,REF並非採用論文被引用數之量化數據做為影響力的單一指標,而是以評分等級制度,以較為質化之評比方式進行影響力的評判。

三、QS世界大學排名

QS世界大學排名為Quacquarelli Symonds組織(簡稱QS)所發表的世界大學排名,排名包括主要的世界大學綜合排名及學科排名。另外,QS還推出了獨立的地區性排名,即從2009年開始發表的亞洲大學排名及2011年的拉丁美洲大學排名,而這兩個地區排名的準則在某些方面都與原本主要的世界大學排名有所不同。

QS原先是與泰晤士高等教育組織合作,兩者自2004年起每年都聯合發表泰晤士高等教育-QS世界大學排名,直至2010年才推出各自的排名。至此,QS與美國新聞與世界報導(USNews)和英國太陽報(Thesun)合作發表世界大學排名,而泰晤士則改與路透社共同合作推出排名,並皆修改了一些排名準則。QS後續更與朝鮮日報合作,發布獨立的亞洲大學排名,此排名的準則及比重在某些方面與本身的世界大學排名不同,故兩者在同年度的結果也有所不同。再者,於2011年起也推出QS拉丁美洲大學排名;與亞洲大學排名一樣,拉丁美洲排名與主要的世界大學排名在某些標準上有相異。目前QS世界大學排名、泰晤士高等教育世界大學排名及世界大學學術排名(Academic Ranking of World Universities,簡稱ARWU)共同被認為是世界三大最具影響力的全球性大學排名。

最新一期2012公布的排名報告,所採用的評估方法乃是第四版的QS Stars?(2012.01.05)。其所採計的指標構面主要分為四大類:核心指標、學習環境、進階指標及專家指標,其中的核心指標為以往較常見的教學、就業、研究、國際化四類。相關評估所用之指標整理如表7。

表7 QS世界大學排名評估項目

指標構面 子構面 細部指標 個別分數 分數總計
核心指標 教學 學生滿意度或學業完成度
教學滿意度或具博士學位師生比
繼續學習比例
生師比
40
40
20
50
150
就業 雇主聲譽
畢業生就業率
職業服務支援程度
50
50
50
150
研究 平均教師論文數或藝術相關產出
論文平均被引用數
學術聲譽
獲國際獎項情況(如諾貝爾獎項)
40
40
40
30
150
國際化 國際教師比例
國際合作情況
國際學生比例
宗教措施
交換學生比例(進)
交換學生比例(出)
國際多樣性
20
50
20
10
20
20
10
150
學習環境 設備 體育設施
醫療設施
學生社團
學生宿舍
IT基礎設施
圖書館設施
20
10
10
20
20
20
100
線上/遠距學習 新技術使用
追蹤記錄
師生參與
師生互動
線上可取得課程數
聲譽
20
10
20
20
10
20
100
進階指標 文化 音樂會和展覽
藝文獎項及獎勵
藝文投資
20
20
10
50
創新 專利數
衍生公司
產業研究
20
10
20
50
參與 社區投資與發展
慈善事業和救災
區域人力資本發展
環境影響
20
10
10
10
50
可取得性 獎學金和助學金
殘疾人士設施
性別平衡
低所得家庭
20
10
10
10
50
專家指標 學科排名 系所排名或特定領域/主題排名 150 150
認證 國際認證或國家認證 50 50

資料來源:QS Stars? Methodology(2012);本研究自行整理

QS世界大學排名除了綜合排名外,還提供了學科排名。各學科被歸為五大學術領域:藝術與人文、工程技術、生命科學與醫學、自然科學及社會科學,而各個領域也細分了多個範疇,如「生命科學與醫學」一領域就細分了「醫學」、「生物學」、「心理學」和「藥學&藥理學」四個部分。每個範疇都顯示了有關的前200大。其評估方法與綜合排名相仿,主要差異在於學科排名乃會依據各學科特色而給予各項指標不同的權重。

總括來說,QS世界大學排名的指標構面,在核心指標以教學、研究、就業、國際化作為評比依據,即呼應了大學經營的首要目標:教學、研究、服務。而學習環境與進階指標更是能反映出大學內部之基礎建設與其校園文化之定位,使得其排名結果能呼應各大學實際上的經營現況。

四、The Leiden Ranking荷蘭萊登大學世界大學排名

萊登排名( The Leiden Ranking)是歐洲著名的世界大學排名,其是由荷蘭萊登大學(Leiden University)科學技術研究中心(Centre for Science and Technology Studies,簡稱CWTS)以超過25年的經驗,設計出一套先進的文獻計量學指標(bibliometric indicators),針對世界500所研究型大學所發表論文進行論文引用次數的排名,其排名主要能充分展現出大學的科學影響力及科學合作比例。目前最新的萊登排名為2011/2012版本,其衡量全球領先500大大學的科學績效。

與其他的大學排名相比較,萊登排名是以「湯森路透科學網站」(Thomson Reuter’s Web of Science)為資料來源,採用科學計量方法來評估各大學以及各大學彼此間跨區域合作在科研成果上的影響,針對世界500所大型研究型大學所發表論文進行論文引用次數的排行,這項排名是純粹以論文品質做為排名標準,沒有將諸如收入、學校聲譽,以及師生比例等教育因素列入共同評估,其中人文領域研究論文因資料不具充分代表性而未列入比較。

Leiden Ranking 2011/2012是以湯森路透的Web of Science為基礎,只有科學與社會科學的論文發表被採計。藝術與人文(arts and humanities)領域則被排除。採計的指標有:

(一)影響指標(Impact indicators)

  • 平均被引用的分數Mean citation score (MCS):即平均引用數
  • 標準化後平均被引用的分數Mean normalized citation score (MNCS):依領域差異進行標準化
  • 發表前10%傑出論文之比例Proportion top 10% publications (PPtop 10%)

上述指標的計算乃計算至2010年底,並排除作者自我引用。其中,指標「發表前10%傑出論文之比例」比「標準化後平均被引用的分數」的表現更穩定,因此PPtop10%可以視為萊登排名中最重要的影響指標。

(二)合作指標

  • 合作發表比例Proportion collaborative publications (PPcollab)
  • 國際合作發表比例Proportion collaborative publications (PPcollab)
  • 平均的合作地理距離Mean geographical collaboration distance (MGCD)
  • 遠距合作的比例Proportion long distance collaborative publications (PP>1000 km)

萊登大學使用數個文獻計量學指標計算大學排名,使用湯森路透的論文資料庫,期採計的指標有兩類,分別為影響指標與合作指標,然而其影響指標主要評估論文被引用的情況,進而計算論文被引用的分數,並非衡量影響更深遠的社會影響力或效益。

五、上海交通大學世界大學學術排名

上海交通大學於2003年開始進行世界大學學術排名(the Academic Ranking of World Universities, ARWU),主導機關為上海交大世界一流大學研究中心與高等教育研究所,原始研究目的是希望瞭解中國大學與世界知名大學間科研成果的差異,之後被普遍接受為評比世界大學排名的重要排行榜,其針對各大學學術成果所進行的評量方式,與泰晤士高等教育排名著重人為評分的方式大相逕庭,被各界認為相當客觀,因此廣泛受到國際間的重視。只有有諾貝爾獎菲爾茲獎獲獎者、高被引用學者、或論文刊登在NatureScience的學者的大學有包含在排名中。另外,發表相當數量的Science Citation Index-Expanded (SCIE)Social Citation Index (SSCI)論文的大學也有納入排名,總計有超過一千所大學列入排名,而前五百所大學排名則公告於網頁上。

全球大學依照表8中共六個量化指標進行比較與評估,其中30%為獲獎人數,20%為Nature與Science論文篇數。

表8上海交通大學大學排名指標

項目 指標 比重
教育品質 1901年之後校友獲得諾貝爾獎人數 10%
教師素質 1911年之後研究人員獲得諾貝爾獎或菲爾茲獎人數 20%
生命科學、醫學、物理學、工程科學、與社會學等領域高被引用研究者人數 20%
科研成果 近五年於Nature與Science期刊發表論文篇數 20%
特定年度發表於SCIE或SSCI索引期刊之論文篇數 20%
師均表現 上述權重後之指標結果除以全職研究相關人員數 10%

得獎校友與教師折合數的計算方式是根據年份增減權重,如2001年以後畢業的獲獎校友或得獎教師的權重為100%,1991-2000年的權重為90%,每回推十年遞減10%,上海交大認為如此計算方法可客觀反映一所大學的學術表現。如果一個校友在一所學校獲得兩個以上學位,只將最近取得的學位列入計算,獲獎人同時署名兩個單位時,各計0.5,並以獲得獎金的比例做為諾貝爾獎共同得獎人的權重。對於專注在人文社會研究之大學,並不計算Nature與Science論文篇數指標,會將其權重平均分配至其他指標。此排名並沒有納入傳統引用分析的數據,僅考量高被引用之研究者人數,且亦不使用部分計數的論文篇數計算方式。各學科領域被引用最多的教師總數,由湯森路透資料庫公司提供,包含過去二十年中五千多位研究者的統計數據,並依據該公司資料庫的21個學科分類進行統計。N&S論文折合數是統計過去五年內,發表在《Nature》或《Science》期刊上的研究論文數,不包含快訊與評論文章,折合數計算方式是針對作者的不同排序給予不同權重,通訊作者所屬之單位為100%,第一作者所屬之單位為50%,第二作者所屬之單位為25%,其他次序作者單位之權重皆為10%。若通訊作者與第一作者同一單位,計算方式是將此第一作者視為第二作者給予25%的權重,其他作者依次類推給予10%權重。SCIE與SSCI論文數據來自湯森路透公司的Web of Science資料庫,僅計算研究論文,不計快訊與評論等其他類型的文章,並考量不同學科研究成果發表方式不同的特性,對於常以著作出版品為研究成果主要發表方式的社會科學學門,以2倍於SCIE的權重來計算SSCI的論文數。上述權重後之指標結果除以全職研究相關人員數是考量大學規模,將前述指標所得之總分除以各校全職教師數,但對於無法取得教師數的單位,直接將各單位前述指標總和乘以加權數做為此項指標得分。全球大學依據領域特性分為五群,分別為自然科學與數學、工程與技術科學、生命科學與農業、臨床醫學與藥學、以及社會科學。由於尋找可比較指標的技術困難,人文與藝術類並沒有納入排名;此外,心理學與精神病學類亦無納入,因為該領域被視為多領域。

上海交大世界大學學術排名最大特色為將諾貝爾獎與菲爾茲獎列入評比指標,強調各大學的學術成就,其論文與引文數據皆來自湯森路透資料庫公司,然而卻缺乏衡量對於社會的貢獻或影響力的指標,僅人員素質項目中的高被引用研究者人數與影響力有關,但其考量面向僅於學術影響,並非衡量較為廣泛的社會影響力。

六、泰晤士高等教育世界大學排名

泰晤士高等教育世界大學排名(Times Higher Education World University Ranking, THE) 是第一個進行大學排名的機構,亦為全球最具權威性的高等教育排名之一,自2004年起,英國泰晤士高等教育報刊與QS高等教育調查機構合作進行世界大學排名。過去QS進行世界大學排名所使用的指標,以高比例的人為評鑑分數最令人感到爭議,與其他大學排名相比,此排名最大特色為強調大學聲譽與國際化程度,同儕評鑑與雇佣人員評鑑占所有評分50%,師生比與每位教師引文數各占20%,國際教師與國際學生各占5%,此排名之調查數據中,引文數據來自Scopus與ESI資料庫,其他資料多由線上問卷調查而來。

但2010年之後泰晤士大學排名改使用Thomson Reuters的資料庫,與QS的排名獨立。自此之後,泰晤士大學排名的方法學全面修正,以「提供最嚴格的,透明的和可靠的排名」。不包含大學部、每年論文發表篇數未達50篇、或者只教授單一、狹窄的主題領域的大學皆不納入排名。該排名使用13個績效指標以涵蓋所有的大學活動,包含教學與知識傳遞。這13個指標分為五類,如表9所示。

表9泰晤士高等教育世界大學排名指標

項目 指標 比重
經濟活動與創新 研究收入 2.5%
國際化程度 教職員的國際化程度 3%
學生的國際化程度 2%
教學與學生 教學品質調查 15%
授予博士學位人數 6%
大學本科的師生比 4.5%
年度研究經費 2.25%
大學部和研究所的學生比 2.25%
研究指標 研究的國際學界聲望 19.5%
年度研究收入 5.25%
學術論文發表(數量) 4.5%
公共研究收入與總研究收入比 0.75%
學術論文影響 論文引用率(影響力) 32.5%

上述指標中僅4.5%的計分基於每位研究人員的研究產出量,另32.5%根據領域正規化的引用次數,表示泰晤士大學排名計分中共37%的是根據文獻計量指標衡量的。全球性的學術聲譽問卷結果佔整體排名積分的34.5%,其中15%為教學相關,19.5%為研究相關。該排名包含全球前200所大學整體排名及6大領域前50所大學排名,6大領域包含工程與技術、生命科學、臨床與健康、物理科學、社會科學、以及人文與藝術。

此外,又於2011年3月10日首次推出?世界聲譽排名?,屬於附屬的「子排名」,主要的標準為有關學府在相關地區的名聲,並獨立於主排名。全球共有100所大學上榜。排行榜分為兩群:第1至第50名一群,第51至第100名為另一群。前50名大學給出具體排行的參數;後50名沒有給出具體分數,僅列出排名。與上海交通大學進行的排名類似,都缺乏衡量對於社會的貢獻或影響力的指標。

泰晤士高等教育世界大學排名使用的指標包括經濟活動與創新、國際化程度、教學與學生、研究指標、及學術論文影響,衡量的面相較廣,非局限於學術影響力,但只涵蓋學校內的活動,亦無衡量社會影響力的指標。

綜合評比

目計量指標,卻強調此型態之量化數據僅供各領域的專家群組在進行系所學術評鑑時參考之用。再加上,REF的評鑑過程為該領域的專家透過peer review方式進行,不同學門領域可自訂合適的指標,而給分標準以等級制方式處理,並於等級說明上再三強調該研究成果應須證明可產生廣泛的開創性或變革型的影響和價值,說明學術研究應於成果反映出對社會進步的貢獻程度。

而QS世界大學排名的評比項目相當多元,在核心指標構面中,除了衡量學術表現的「研究」子構面外,還有衡量教學、就業及國際化指標,尤其是「就業」子構面也涉及到學生投入職場中的後續表現。而在「研究」子構面中,除了平均論文數、平均被引用數外,也有依學者調查產生的學術聲譽指標及獲國際獎項情況。另外,在進階指標構面,更有許多指標是偏向衡量社會影響力的代理指標,例如創新子構面中有對產業的支援程度,如衍生公司、產業研究等;「參與」子構面中也有對社會/社區的貢獻,如社區投資與發展、區域人力資本發展、環境影響等,可見QS世界大學排名的評比項目的多元程度。

萊登排名則是比較純粹的學術排名,因此仍是以量化指標為基礎。其在學術排名的衡量上,主要關注在影響指標與合作指標兩類型指標,並沒有強調論文數這樣的項目,而是在其後續的引用影響及共同合作產出狀況。引用所呈現的是直接的影響,而合作更可帶來後續間接的擴散效益,同樣也符合學術研究的最終目標乃是應該要創造社會影響力的方向。

上海交大以學術成就做為影響力評估的相關指標,其著重於學術成就的最高榮譽獎項之獲獎人數作為學校排名的重點,顯示該排名重視於卓越學術研究成果所帶來的聲望。除此之外,論文發表於Nature/Science的數量也是指標之一,相較於與其他指標系統是以該領域的頂尖期刊發表量或高被引用的論文數作為評鑑方式,有相當大的差異存在,可得知上海交大的在影響力的指標設計以學術研究是否能達到世界卓越程度作為中心思想,較不考慮因領域不同而需在綜合評比上採取類似標準化的評比方式。

泰晤士高等教育原在大學評比上,透過高比例的人為評鑑進行作業,同儕評鑑、每位教師的論文引用數在指標權重上佔有相當高的比例。然而自2010年起,其排名方式進行修正,使用包含教學與知識傳遞涵蓋大學所有活動的績效指標。然而細看所有指標的權重分布,可得知最重要的指標仍是學術論文的影響,並透過論文引用率作為計算評比的準則。

表10呈現上述六項指標系統的綜合比較,NTU Ranking與英國RAE在評鑑主體是以領域或系所進行評比,其餘則是著重於大學評鑑。儘管多數評鑑系統的排名的重點在於學術研究或是教學研的綜合表現,但在相關指標上,仍不脫傳統的論文引用次數等量化指標。然而在影響力權重,則可看出各項指標系統在比例上可說是占比相當高,也有指標系統開始將學術研究影響力的定義放在對社會的貢獻程度或是投入社會發展的參與程度,以質化方式進行評比,而非只以學術研究的卓越程度作為影響力的評斷方式。

表10 綜合比較

  評鑑 主體 排名重點 影響力相關指標之權重 影響力指標細項 影響力指標屬性
NTU Ranking 領域 科研論文的質量 35% 論文被引用次數 量化
RAE 系所 學術研究 20% 對社經文化、人類福祉之貢獻程度 質化為主,量化為輔
QS 大學 教學研綜合 N/A 社會影響力、社會/社區參與程度 質化為主,量化為輔
Leiden Ranking 大學 學術表現 N/A 引用數、共同合作 量化
上海 交大 大學 學術成就 50% 諾貝爾獎/菲爾茲獎獲獎人數、Nature/Science論文篇數 量化
THE 大學 教學研綜合 32.5% 論文引用率 量化

結論與建議

學術工作希望以專業與獨立的理性判斷來瞭解社會問題的真相與降低不確定性,以面對日益增加的社會、政治、經濟上的挑戰,這是學術研究者所肩負的不可放棄的使用與重擔。尤其我國學術研究所仰賴的經費,多數以公部門所提供的資源為主,因此如何進行社會介入、如何解決市場失靈、如何協助政策體系進行決策與溝通,是我國的學術研究人員無法逃避的責任。

正是由於學術研究的本質肩負著社會的使命與享受著社會的資源,因此理應回應社會可課責性的要求。研究的進行,在我國的環境中多數是仰賴著納稅義務人的貢獻,因此我國的學術研究者有義務針對近代以來人類所面臨的迫切課題提供解釋與解決對策:全球能源短缺、南北半球的發展不均、貧富差距的懸殊化、人口結構轉變、國際經濟鎖鍊的分工、疫病的擴散、環境風險的全球化與新興科技發展可能帶來的風險等等。研究者應該花更多的心思集中在社會挑戰的因應之上,思考如何將研究成果具體的回饋到社會問題的解決與經濟發展的貢獻之上。

要達到這樣的目標,不得不牽涉到評鑑機制的重新在設計。加入社會貢獻指標的評鑑機制,可以正面且明顯的回應學術對於社會的責任。由上述的分析可知,社會貢獻指標的設計亦應該具有針對學科不同類別而設的特性,以兼顧不同學門領域之間的差異。以英國的研究卓越架構(Research Excellence Framework, REF)為例,其衡量學術影響力的標準不再只是如同NTU Ranking般的計算一篇論文或是一本期刊在學科領域之內的被引用的影響力,如此的計算方式依舊侷限於學科圈內的學術績效並無法表現出出對於社會、經濟,更大脈絡下的重要性。相反的,2014的REF則參照了經濟、社會、公共政策與服務、健康、環境、文化、生活品質等。各項指標的評分等級的敘述說明,也強調研究需產生原創性、獲得國際與國內認可的成就。

同樣的要求可以在QS世界大學排名被找到,其核心指標內的國際化程度的衡量,其實隱含著對於知識流動與人才國際視野培育的注重。在其進階指標內,則更為普遍的採納了文化、創新、參與、可取得性(accessibility),學術近用權質的先進指標,以社會中弱勢與大眾可以取得學術機關支援與協助的的程度作為衡量標準,充分展現其社會貢獻特質。在對於知識流動的重視方面,Leiden Ranking亦包含以合作比例,遠距離合作比例作為考量的指標。泰晤士高等教育世界大學排名則是以年度研究收入與公共研究收入與總研究收入比來衡量研究單位與社會的交流程度,研究的國際學界聲望亦是展現其影響力的指標之一。

綜上所論,社會貢獻指標的加入與強化,應該是學術研究社群展現其對於社會責任的承擔與承諾的具體實踐方式。本文認為,社會貢獻指標的加入並非為了消滅傳統上的學術績效衡量機制;引用與引伸的影響力依舊是學術圈內學術工作自身的可參考依據,但是近來社會不斷面臨的挑戰與國家發展上的經濟與社會建設需求,已然是學術社群與工作者在面對社會供給的捐助、補助經費運用上,不可迴避的問題。學術存在目的顯然目的不應只是知識表現的績效,而更應當包含知識對於他人的貢獻,本文認為後者應為大學與學術研究存在的重要而不可消滅意涵一之。本文建議,當前的大學評鑑機制應該更細膩的依照學科或是領域類別,制訂更為殊異化的評鑑指標,並加強社會貢獻指標的重要性。在難以用量化衡量的項目上,應當經由更為開放與經得起挑戰的評估委員會形式,進行長期的評估經驗累積,以完成客觀而深入反應其社會影響力予貢獻性的重要任務。

延伸閱讀