發佈日期:2018-09-21

績效導向之高教科研補助機制(PRFS):各國質量化整合評估途徑分析

作者:林意晴

政策評析 高教科研補助機制 績效導向 評估準則 預算分配 質量化評估 Higher Education Research Funding System Performance-based /Evaluation Criteria Funding Allocation Qualitative and Quantitative Evaluation

文章圖片所有權: https://ppt.cc/flj5bx ,Created by rawpixel
版權適用聲明: CC0 Public Domain-可以做商業用途-不要求署名

1 1

一、前言

2 2

績效導向科研補助(Performance-based research funding system, PRFS),是目前很多國家用來強化高教研究成果所使用的機制。透過同儕審查(peer review)、計量(metric-based)方法等,主要為追溯過去(backwards-looking)之研究成果,來決定未來大學研發預算的一種科研補助機制,但仍納入少數關注科研活動之未來潛力之指標。雖然PRFS被很多國家所普遍接受,然而對於是否將PRFS這類評估系統直接用來指導預算分配,各方仍有正反兩面不同看法。一般而言,大學管理階層(university managers)多認為績效科研補助機制對於促進大學研究之提升有正面的影響,然而學者卻認為,直接將機效用於指導預算分配不利於研究與創新,因為高風險(high risk)或革新型(transformative)之研究,需要長期投入時間和經費才能有成果之展現,以PRFS績效直接公式化連結預算分配,可能會抑制大學投入這些具有未來性研究之意願,某些歐盟國家甚至將預算分配給評估結果績效表現不佳的大學。且通常這類績效導向補助分配機制僅針對大學而非研究團隊,以避免誤導研究團隊追求短期、熱門研究主題,有些歐盟國家例如奧地利則不再使用PRFS評估結果來決定預算分配,而是透過國家研究評議會(FWF),聚焦在審查大學機構之研究策略與政策,來決定大學研發預算分配。荷蘭也鼓勵大學使用標準評估協議(註1)(Standard Evaluation Protocol, SEP)來制定適合大學研究機構自己的評估與管理方式來提升研究品質(Debackere, Arnold, Sivertsen, Spaapen, & Sturn, 2018)。

3 3

就評估方法而言,基於同儕審查因學術聲望層級、學門觀點所可能產生的不利非主流、跨學門研究之缺失,因此,科研活動之評估除了同儕審查之外也會採用某些量化指標,尤其是有關產官學合作與社會效益方面之指標。目前大部分歐盟各國之PRFS機制,除了使用同儕審查(peer review)或透過指標進行輔助同儕審查(informed peer review)之外,也新增社會效益指標(或稱為第三主流指標),這些社會效益指標除了平衡同儕審查觀點之外,也可矯正PRFS連結預算可能鼓勵追求短期效益之負面效果。

4 4

雖然台灣高教科研補助機制和PRFS補助機制不太相同,但本研究主要目的是希望藉由研究PRFS評估機制中使用之質量化整合分析方法,來強化台灣科研預算分配(五年五百億等高教補助或科技計畫審議)之評估機制所使用之質量整合評估方法。本研究分成兩個部分,第一部分將著重於分析歐盟各國PRFS科研補助機制之質量化整合途徑分析。第二部分將討論將著重於質量化整合評估方法(包含書目計量、同儕審查、社會效益指標等),其使用之缺點以及改善與建議,以及台灣科技計畫之質量化評估機制有改善和進步的地方。

5 5

二、歐盟各國之高教經費補助機制與評估途徑

6 6

歐盟各國之大學校經費有不同補助來源,通常包涵機構型補助(institutional funding)和外來補助(external funding)兩種(如圖1所示)。一般來說機構補助又可分成固定整數型補助(block grant)和績效競爭型補助(PRFS)兩種機制。固定整數型補助通常不是透過競爭或過去之績效評估結果而來,通常其預算金額是根據學校過去補助情形、學校大小以及支出經費等來決定每年預算,經費通常不會有太大之變動。而績效型補助(PFRS)的性質就和固定整數型補助就不同了,它是根據各評估單位(學校/個別研究)之研究成果績效,與其它單位相互競爭之後來做預算分配。透過此機制能夠激勵大學機構提升研究品質,並藉由評估結果來提升大學研究機構之研究能量與提升大學教學品質。簡言之PRFS可用來評估大學研究成果好壞,其結果可被用於預算分配公式來決大學之預算。PRFS除了聚焦在與研究成果相關之指標,近年來有越來越多國家開始加入社會效益/第三主流指標(third stream/third mission),來做為PRFS評估項目。第三主流 (third mission) 指標,通常指的是大學研究成果應用到學術以外之環境,能解決社會正面臨的問題與並對社會有所貢獻之長期效益指標(Molas-Gallart & Castro-Martinez,2007;Spaapen, 2017)。有關社會效益之評估方法,在本研究將在第二部分有更深入討論。另外外來補助(external funding)通常給予個別研究計畫之研究補助,大致上分三大類:國家型其它單位補助(state)、其它民間或法人資助以及國外資金的補助(詳見圖1)。其中國家型其它補助單位(例如國家研究委員會、公共創新機構、政府之部會等單位),會針對研究績效較佳的大學或機構內之個別研究單位給予補助。其性質和績效型補助(PFRS)比較類似,同屬於競爭型的補助,有越來越多國家把外部資源之研究補助,當作PRFS評估指標之ㄧ,來衡量研究成果之好壞(Debackere et al.,2018)。

7 7
8

圖1 歐盟各國之大學研究經費來源

8

將歐盟各國之大學研究經費預算做比較,愛沙尼亞(46%)與芬蘭(49%)競爭型補助(國家其它單位之補助與研發績效型)幾乎占整體大學研究經費來源的一半,英國(64%)甚至超過一半以上的科研補助都是競爭型補助而來的。雖然捷克、愛沙尼亞、英國、芬蘭與瑞典沒有固定整數型補助(undifferentiated block funding),但瑞典(28%)與捷克(18%)有整數型研究類補助(research block funding)。愛沙尼亞(40%)、英國(37%)、芬蘭(26%)外來補助(國家其它單位補助、國內外私人企業與研究機構、慈善機構等之研發補助)之補助也相當的高,其性質和PRFS都相當類似,但本研究之範圍只要聚焦在研發績效型補助(PRFS)為主(Debackere et al.,2018)。

9 9

表1 歐盟各國之大學研究經費補助比例

奧地利
2016
捷克
2016
愛沙尼亞
2016
義大利
2016
英國
2016
芬蘭
2015
挪威
2016
瑞典
2015
固定整數型補助
(Undifferentiated block grant)

85% 0% 78% 0% 0% 60% 0% 0%
- 教學類整數型補助 0% 47% 44% 0% 36% 0% 0% 49%
- 研究類整數型補助 0% 18% 0% 0% 0% 0% 0% 28%
績效型補助PRFS 6% 24% 16% 20% 27% 74% 27% 3%
- 教導類績效型補助 5% 12% 10% 3% 0% 51% 20% 0%
- 研究類績效型補助 1% 12% 6% 17% 27% 23% 7% 3%
國家(其它)單位補助
9% 11% 40% 1% 37% 26% 13% 20%
總合補助 100% 100% 100% 100% 100% 100% 100% 100%
競爭型補助 =
(國家其它單位補助+PRFS)
10% 23% 46% 18% 64% 49% 20% 23%
10 10

資料來源:Debackere, Arnold, Sivertsen, Spaapen, & Sturn(2018);本研究重新整理與繪製。

三、PRFS評估目的

11 11

歐盟各國大學科研經費補助比例、預算分配及評估方式等不盡相同(如表2所示)。因為各國會透過不同之預算公式、評估方式與指標訂定來達到個別的政策目的(Debackere et al.,2018)。根據Mahieu 和Arnold的研究指出(2015),實行PFRS機制主要有下列四個主要政策目標:(1)增進大學之研究品質以及提升競爭力;(2)針對研究系統不佳之大學,驅使其行為改變;(3)強化課責;(4)提供大學研究策略。而大部分國家也主要透過PFRS來提升研究績效、預算補助、機構研究系統之改革(如表2所示)。

12 12

表2 歐盟各國使用PFRS之政策目的與聚焦

AM AT HR CZ EE IT MD NO PT SI SP SE TR
PRFS政策目的
研究品質 x x x x x x x x
研究產出 x x
整體競爭力 x x x x
效率/效能 x x x
透明度與課責 x x x x
研究系統的改革 x x x
PRFS聚焦
提升研究績效 x x x x x x x x x x
機構之行為改變 x x x
機構內的改革 x x x x
研究系統的改革 x x x x x x
機構預算補助 x x x x x x x
13 13

AM:亞美尼亞、AT:奧地利、HR:克羅埃西亞、CZ:捷克、EE:愛沙尼亞、IT義大利、MD: 摩爾多瓦、NO:挪威、PT:葡萄牙、SI:斯洛維你亞、SP:西班牙、SE:瑞典、TR: 土耳其。

資料來源:Debackere, Arnold, Sivertsen, Spaapen, & Sturn(2018)。本研究重新整理與繪製。

四、整合質量化之評估準則

14 14

PFRS評估準則的訂定,主要根據評估的政策目地以及聚焦來設計(表3所示),且評估準則需要同時能考量產出(output)之質(quality)與量(quantity)。將各國之評估準則整理如表3,其中學術的產量和品質、外來資金補助被大部分國家列為PRFS主要之評估準則之ㄧ。另外英國所關注的環境(environment)這項評估準則,意指大學是否提供能足夠(軟硬體)資源來支持研究。透過此環境準則,可以瞭解科研機構是否有足夠的研究能量來支持研究,目前只有英國的PRFS有這項準則(Debackere et al.,2018)。

15 15

表3 歐盟各國使用PFRS之評估準則

AT HV CZ EE IT UK FI NO SE
學術產出與品質 x x x x x x x x
外來資金補助 x x x x x
政府補助 x x
國外資金補助 x x x
私人企業/慈善團體贊助 x
創新的產出和效益 x x x
博士 x x x
專業人員 x
科學的普及化程度 x
國家重要議題相關 x
環境 x
16 16

AT:奧地利、HV:瑞士、CZ:捷克、EE:愛沙尼亞、IT義大利、UK:英國、FI:芬蘭、NO:挪威、SE:瑞典。

資料來源:Debackere, Arnold, Sivertsen, Spaapen, & Sturn(2018)。本研究重新整理與繪製。

五、PRFS評估結果與預算連結

17 17

PRFS的評估設計主要希望透過績效評估和預算分配的連結,而形成鎖定(lock-in)的效應,因此除了決定預算分配的方式,同時也能讓大學透過所訂定評估準則和方法來自我管理。PFRS評估設計包含兩個部分(如圖2所示),第一部分是評估(assessment)面向,它主要根據PRFS政策目標與聚焦訂定出數個評估準則和(質/量化)指標。由於不同的國家對於使用PRFS有不同之政策目的與聚焦,不同評估準則也賦予不同之權重。最後將個別之評估準則乘上權重後,再加總起來即可獲得整體計畫的所獲得的分數(overall research assessment score)。第二部分是將評估所獲得的分數放入預算分配公式(funding formula)進行運算。

18 18

預算分配公式中的績效資料可以在不同補助單位(funding unit)下加總呈現,例如:論文引用數可以在學校、部門或個別研究人員等補助單位中呈現。補助單位之選定應考量PRFS評估目的。例如:評估結果若不會用於直接連結預算,補助單位可選擇治理或決策需求,若要直接連結預算分配,補助單位最好以學校/機構為單位,因為要避免過度干預研究小組或研究人員之實際研究方向而干預學術自由。另外,PRFS評估若以部門或研究小組(research group)為補助單位進行預算分配,則應採用同儕審查方式,若以大學為補助單位,應偏向採用量化指標評估方式,且通常可以收集個別研究人員的研究產出(output)。但實際上PRFS的預算分配通常是以大學為單位,而不是個別研究單位。因此研究員之成果通常會被彙整至機關層級(organizational level)後,再被用來決定各大學之預算分配。若PRFS以同儕審查評估方式,通常需要依賴專業或學門領域(discipline)的評估委員,那麼研究小組(research group)就是比較好的評估單位。若PRFS評估方式完全使用指標(metrics),不僅需要專業領域之專家,同時也需要跨學門之領域專家參與,評估單位就可以個別研究人員為單位。針對評估單位之選定OECD(2010)建議,PRFS最理想的評估單位為學校(university)或部門(departments)。歐盟各國之評估分析單元(unit of analysis)以及評估提報單位(unit of reporting)整理於表4中。此外預算分配公式部分也需要將各計畫的研究人員數量列入考慮,PFRS預算公式之組成如圖2所示。另外PRFS嚴格的將評估與預算分配分開是相當重要的,主要的原因是有些困難很高的研究(hard research),需要更多研究經費補助時,不需調整評估準則的權重(criterion weight),而是透過調整補助公式(funding),例如調整研究人員數量或補助單位(funding unit),來給予特定計畫更多補助(Debackere et al.,2018)。

19 19

表4 歐盟各國PRFS

AM AT HR CZ EE IT MD NO PT SE
評估單位 大學 領域內個別研究員 大學 大學 大學 個別研究員 大學 大學&個別研究員 大學機構內研究小組 大學
報告結果單位 大學 領域內個別研究員 大學 大學 大學 大學 大學 大學 大學機構內研究小組 大學
20 20

AM:亞美尼亞、AT:奧地利、HR:克羅埃西亞、CZ:捷克、EE:愛沙尼亞、IT義大利、MD: 摩爾多瓦、NO:挪威、PT:葡萄牙、SE:瑞典。

資料來源:Debackere, Arnold, Sivertsen, Spaapen, & Sturn(2018)。本研究重新整理與繪製。

圖2 PFRS預算分配公式

21 21

資料來源:Debackere, Arnold, Sivertsen, Spaapen, & Sturn(2018);本研究重新整理與繪製。

六、各國PRFS發展過程與評估方式

22 22

英國在1986年開始使用PRFS機制,是第一個採用的國家,一開始是以同儕審查為主和量化指標為輔,針對個別計畫(individual project)產出來決定大學研發之預算分配(Geuna & Martin, 2003)。目前各國PRFS評估方式可分為四大類:(1)純粹同儕審查(pure peer review),也就是所有審查項目以及評定標準都由專家自行決定,其特色是專家根據自己認定的方式決定要使用哪些評估指標,目前有英國和紐西蘭使用此評估方法。(2)輔助同儕審查(informed peer review),專家根據書目計量(bibliometric)或其它已選定之指標進行審查,其特色就是每一個專家都採用相同指標,來判定績效之好壞,例如義大利、葡萄牙使用此一評估方法。(3)同儕審查和指標(metrics)混合方法,其特色就是兩者皆使用,量化指標與質化審查評估方法在預算分配公式中各占一定的比例,例如西班牙與土耳其,(4)直接使用量化指標來決定預算分配,特色是完全不使用同儕審查,例如捷克和挪威是透過書目計量方式,另外愛沙尼亞、克羅埃西亞瑞典等國家利用Web of Science 或者Scopus等管道之評估論文出版數以及論文引用數來決定預算分配,本研究第二部分,將探討不同之評估方法與各國案例介紹。

23 23

(一)PFRS評估組成

24 24

PFRS評估組成之設計包含六個部分。第一、選擇能夠回應決策面之績效評估方式,例如選用同儕審查、混合同儕審查與數目計量(bibliometric)、量化指標(metrics-based)等。其中同儕審查可分成專家根據已選定之評估項目分為輔助同儕審查(informed peer review),以及專家個人專業的判斷之純粹同儕審查(pure peer review)。第二、界定PRFS所評估計畫活動範圍,也就是只針對和計畫相關的活動進行績效評估,第三、選擇指標的種類,例如選定與結果(outcome)或效益(impact)以及與具有效益意涵之產出(output),第四、使用評估準則,讓指標的定義和獲得數據方式都有明確指引,第五、考慮有意義的劃分PRFS的分析樣本,例如以研究機構、教職員工、部門、專業學科來劃分等等,評估結果之比較有意義且不具爭議,第六、將時間因素放入PRFS評估指標之設計,例如短、中、長期效益。指標之設計,主要根據評估之用途與政策目標而有所不同(Debackere et al.,2018)。

25 25

(二)PRFS評估指標

26 26

評估準則訂定後,接著就是設計評估指標(表5所示)。以歐盟12國為例,PFRS選定之指標訂定大致上分成了(1)研究直接產出指標、(2)外部研究的直接產出指標、(3)機構系統性指標(systemic indicators)、以及(4)效益指標(outcome/impact indicators)四大類。研究中大多數國家一致認為大學研究的產出與品質是判定大學研究品質的關鍵指標。由於PFRS和外部經費的資助同屬競爭型補助,因此外部研究的直接產出指標也普遍被大多數國家所接受。效益指標方面,學術影響力(i.e.專利以及文章引用)和社會經濟效益(ex:衍生公司)等指標也非常受重視(Debackere et al.,2018)。

27 27

表5 歐盟各國PRFS指標設計

AT HR CZ EE IT NO SE BE/FL DK FI NZ UK
研究直接產出指標
非學術產出 x x x x
創新相關產出 x x x x
外部經費補助指標
競爭型補助(國內) x x x x x x x x x x
競爭型補助(國外) x x x x x x x x x x x
合約型研發補助 x x x x x x x x x
非競爭型研發補助 x x x x x
機構系統指標
大學聲望(研討會、獎章) x
國內合作 x x
國外合作 x
國際流動 x x
產學合作 x x
博士生(招生/畢業) x x x x x x x x
效益指標
學術影響力
(文章引用)
x x x x x
社會經濟效益(衍生公司/spin-off) x x x x x
科學的普及化程度 x
28 28

AT:奧地利、HR:克羅埃西亞、CZ:捷克、EE:愛沙尼亞、IT義大利、NO:挪威、SE:瑞典、BE/FL:比利時/法蘭德 、DK:丹麥、NZ:紐西蘭、UK:英國。

資料來源:Debackere, Arnold, Sivertsen, Spaapen, & Sturn(2018)。本研究重新整理與繪製。

七、結論

29 29

總結來說,PRFS是其中一個機制,能夠讓政策制定者透過科研補助的機制,強化大學研究與教學品質。雖然PRFS被大部分國家採用,但有些國家例如奧地利、荷蘭等國家已不再直接使用PFRS機制來做預算分配。例如:奧地利的科研補助機制並不透過傳統的評估方法或特定指標(例如同儕審查或其它量化指標)來決定預算分配,而是透過國家研究評議會(Austrian Science Foundation: FWF),評估機關之輔助研究決策(informing research policy)以及機構研究策略(institutional strategies)之評估後來給與預算補助。荷蘭之大學科研補助則主要是透過政府與大學之間的非正式協議(informal agreement),利用標準評估協議(Standard Evaluation Protocol: SEP)來管理大學研究之績效(VSNU, 2015)。SEP之評估概念是運用荷蘭圩田概念(polder model) 讓大學有自主權設計屬與自己最好的評估方法來管理與提升研究品質。但如果大學本身無法規劃有力的評估方法,才會引入PRFS來做管理(Debackere et al.,2018)。另外挪威主要是透過PRFS聚焦在提升研究能量較弱的學校,而不是透過PRFS分配更多預算給表現較好的學校機關,來刺激與提升大學研究品質。由於各國情況截然不同,因此沒有最佳的補助比例或機制,而是要根據各國之情況做適當的調整。另外越來越多國家不僅將PRFS用於預算分配,而是希望透過評估結果加強大學自我管理,並鼓勵大學研究機構行為改變,進而提升研究品質與效益。因此有越來越多國家增加第三主流指標和社會效益,來鼓勵研究員投入困難又具挑戰的創新研究。本研究將在後續研究,深入探討書目計量以及同儕審查等評估方法,另外還會將探討PRFS如何量測社會效益指標等。

30 30

註解:

31 31

註1:荷蘭所採用之標準評估協議(Standard Evaluation Protocol: SEP)是一種評估方法,每一個研究機構根據SEP指引,針對研究品質、社會之相關性(relevance to society)和可行性(viability)等項目,設計出符合自己研究目標與決策之評估準則與指標。換句話說SEP之評估概念是運用荷蘭圩田概念(polder model)讓大學有自主權設計屬與自己最好的評估方法來管理與提升研究品質。

32 32

參考文獻

  1. Debackere, K., Arnold, E., Sivertsen, G., Spaapen, J., & Sturn, D. (2018). Mutual Learning Exercise:Performance-based Funding of University Research.
  2. Lepori, B., van den Besselaar, P., Dinges, M., Potì, B., Reale, E.,Sliperster, S.,van der Meulen, B.(2007). Comparing the Evolution of National Research Policies: What Patterns of Change? Science and Public Policy, 34(6), 372-388.
  3. Lepori, B., van den Besselaar, P., Dinges, M., Potì, B., Reale, E.,Slipersæter, S., van der Meulen, B.(2007). Comparing the Evolution of National Research Policies:What Patterns of Change? Science and Public Policy, 34(6), 372-388.
  4. Luukkonen, T. (2016).Mutual Learning Exercises: A Proposal; for a New Methodology.
  5. Mahieu, B., & Arnold, E. (2015). R&D Evaluation Methodology & Funding Principles.The R&DEvaluation Mthodology (Final Report 1). Technopolis Group. Prague: Ministry of Education,Youth & Sports.
  6. Molas-Gallart, J., & Castro-Martínez, E. (2007). Ambiguity and conflict in the development of‘Third Mission’indicators. Research Evaluation, 16(4), 321-330.
  7. OECD. (2010). Performance-based Funding for Public Research in Tertiary Education Institutions:Workshop Proceedings. Paris: OECD Publishing.
  8. Spaapen, J. (2017). MLE on Performance-based Research Funding Systels: Third Stream Metrics inPRFS.
  9. VSNU, N. (2015). Standard Evaluation Protocol 2015-2021. Retrieved from:https://rio.jrc.ec.europa.eu/en/library/standard-evaluation-protocol-2015-2021