淺談基礎研究計畫之績效監測、評估，以及追蹤評估個案探討

一、前言

基礎研究(Basic Research)對於一國科學之競爭力有很大之影響，它能驅動科研人才投入先進研究開發，並且透過基礎研究之成果有利於作為應用研究(Applied Research)、技術開發(Technology Development)研究之重要資源。各國對於基礎研究之重視亦能從重大科研計畫投資、未來國家科學規劃，以及部會首長之宣示能了解其重要性。例如歐盟提出最新之第九期架構計畫(Framework Programme, FP 9 or Horizon Europe)中，明確在第一支柱中展示對基礎研究之投入，也就是在成為開放科學 (Open Science) 之願景下，持續投資基礎研究、研究設施、重視人才培育及交流，並且期待以「開放科學(Open Science)」影響其他支柱(第二支柱：全球挑戰與產業競爭力(Global Challenges and Industrial Competitiveness)、第三支柱：開放創新(Open Innovation))。荷蘭所規劃之科學願景 2025(2025 Vision for Science)中，強調科學要能有世界級水準、要能發揮最大科學效益，以及成為頂尖人才之培育地(Ministry of Education, Culture and Science, 2014)。此外，此願景規劃亦強調研究設施對於基礎研究之重要性。我國科技部在2019年年初宣示「厚植基礎研究，擘劃臺灣科技藍圖」，即強調未來在科研之投入上會獨立匡列基礎研究經費且規劃擬定基礎研究計畫書，以此讓科研人才能提出申請且有充足經費持續提升科學創新能量(科技部，2019)。目前我國科研機關對於基礎研究計畫評估仍未完善，以及在後續計畫結束後之中長期效益追蹤及評估無法有效建置，使得無法有效透過評估結果回饋於未來基礎研究計畫之後續規劃。這些現象整理如下：

• (一)計畫管理者較著重計畫產出(Output)，而非計畫成果(Outcome)及效益 (Impact)。
• (二)成果(Outcome)資訊品質低，導致在採用時無法被信任。
• (三)部會對於評估知識之學習及應用缺乏興趣。
• (四)擔心因呈報不利之評估結果而可能帶來懲罰。
• (五)預算決策之不一致，此將使計畫評估結果不易成為主要預算決策之參考來源，降低評估結果之實用價值。

而上述這些現象與部會對於推動評估文化的決心有直接之相關，推動評估文化所包含之層面甚廣，包含部會決策者或機關首長對於推動評估文化是否支持、部會應發展相關評估文件及核心評估指標、推動部會成為學習性組織、強化評估之專業知識及技能。要完整地推動評估文化，我國機關首長對於評估文化的推展應有一個完善地規劃，以本研究所探討基礎研究之績效監測至執行結束後之效益評估（包含追蹤評估）為例，部會應蒐集相關基礎研究計畫評估文件並對應機關之宗旨、任務以發展合適於該部會之基礎研究計畫評估指引。其次，為了能落實基礎研究計畫評估指引，相關配套措施如培育相關評估人才的規劃亦很重要，而開設相關基礎研究計畫之評估課程、評估資料之有效管理對於評估人才之養成亦有直接之關聯。

本研究為了能提升我國公部門對基礎研究計畫評估之規劃，以及能更系統化探討基礎研究計畫執行中之效益監測、計畫結束後之效益評估及追蹤評估議題，例如效益監測關乎計畫在執行中要蒐集哪些績效指標，這些績效指標分別展現之時間長短如何？計畫結束後之效益評估關乎計畫整體效益達成進度及可回饋後續基礎研究計畫書之內容規劃。此外，基礎研究計畫結束後之效益追蹤及評估關乎計畫成果是否能持續產生影響，例如對計畫主持人之研究能量是否能提升以加速科研能量進展。因此，本研究試著從國外相關科研機關在執行基礎研究之經驗，探討基礎研究計畫之績效監測、計畫結束時之效益評估，以及效益追蹤評估，以期給予部會在實施基礎研究計畫評估規劃或給予計畫管理者或審查專家之參考。

二、基礎研究計畫之效益監測

一般而言，在進行科技計畫之效益監測，會透過相關利害關係者討論績效指標或形成邏輯架構(Logit Model)探討績效之成效展現，績效指標設定對於評估人員在監測計畫可優先朝重要指標進行蒐集並定期回報成果。例如歐盟Horizon 2020計畫便擬定不同面向之績效監測指標以利評估人員進行監測(EU, 2015)；加拿大境內公部門所補助之健康醫療研究(Health research)，其以邏輯架構為基礎建構健康醫療研究效益之成效展現(CAHS, 2009)，此成效展現可分別應用於加拿大健康醫療研究之四大領域(生醫、臨床、健康服務、人口與公共衛生)。此外，以補助生醫探索研究之美國衛生研究院(US National Institutes of Health, NIH)，亦透過邏輯架構呈現補助計畫之績效指標(NIH, 2016)，這些績效指標之制定有利於NIH監測計畫之執行成效。

對於部會而言，若能對於基礎研究計畫之效益指標進行規範，可滿足部會對不同領域學門(如人文社會、理工、生物醫學)在進行基礎研究時應聚焦哪些重要且基本之績效指標。以南韓為例，南韓科學與資通訊部(Ministry of Science and ICT, MSIT)為回應國家科技計畫之績效評估及管理法案(Act on The Performance Evaluation and Management of National Research and Development Projects)，第六條要求須制訂科技計畫之績效指標以作為各部會之參考，MSIT公佈最新研發計畫之績效指標指引(MSIT, 2014)，透過計畫邏輯架構界定科技計畫不同類型：基礎研究、產業技術開發、公共技術開發、區域研究開發、國防科技開發、人力資源培訓、設施設備建立、擴散及國際合作之績效展現。在基礎研究計畫之邏輯架構如圖1所示，圖中可了解基礎研究計畫在成果(Outcome)之展現時程為短期及中期，而基礎研究計畫之長期效益因難預測且效益不明確，因此未呈現長期效益之績效指標。透過MSIT所制訂基礎研究計畫之邏輯架構，不僅有利於各部會進行基礎研究計畫時了解不同時間下所需關注之潛在績效指標，促使計畫管理者發展相關測量方法，並透過資料庫平台匯整績效資料以利計畫之績效監測。綜整上述，可發現邏輯架構可回饋後續基礎研究計畫效益評估之決策依據，例如審查專家進行每項評估問題時，可綜整這些績效指標之表現進行證據導向之決策(Evidence based Decision-Making)。

三、基礎研究計畫之事後效益評估

基礎研究計畫結束時之評估，除了可綜觀了解整體執行之情況，亦能從評估過程中獲得改善未來基礎研究內容規劃之寶貴意見。因此，如何有效設計重要評估問題成為科研機關在設計基礎研究計畫效益評估之重要環節。以我國為例，科技部補助大專院校教授進行基礎研究計畫執行，也就是專題研究計畫，其計畫成果報告之自評項目考量較少，例如僅考慮：研究內容與計畫之相符程度、研究成果(論文、專利)之產出、研究成果之學術、政策或應用價值(科技部，2016)。因此，未來在設計基礎研究計畫結束時之效益評估，可參考國外相關補助基礎研究之科研機關。以日本補助基礎研究之科研機構之一 – 日本學術振興會(Japan Society for The Promotion Science, JSPS)為例，針對計畫結束時之評估項目包含如表 1所示：

另外，以歐盟為例，歐洲研究委員會(European Research Council, ERC)為補助歐洲境內進行基礎研究之重要科研機關，支持研究人員進行提案或由下而上(Bottom-Up)之前沿研究(Frontier Research)。ERC在最新一次(2017年)對所補助計畫之事後效益評估架構便設立兩個部份(整體評估、分項獨立評估)之效益評估問題(ERC, 2018)，表2呈現評估問題及相關所需之評估尺度。透過這些評估問題有利於審查人員能有系統性地評估計畫效益。ERC除了能了解整體及各面向(九項評估問題)之評估結果，更能進行交叉列聯表分析，例如可了解「計畫整體評分等級愈高(如整體評量對科學有重大突破或進展)，是否計畫之跨領域效應(Q5)、計畫對於經濟、社會，以及政策制定效益影響面向(Q8、Q9)也愈高」？此將有利於部會從分析結果回饋未來基礎研究計畫書之策略規劃或者可思考哪些研究領域之結合能產生較佳成果以反應投入領域之優先順序。此外，ERC亦透過此評量結果與先前年度之評估結果進行比較，以了解不同年度之整體評估結果是否比先前有較佳之科學貢獻，例如ERC於最新一次(2017年)之效益評估會與前兩次之整體評估結果(2015與2016年)進行科學貢獻之比較。

從JSPS與ERC針對基礎研究計畫結束時之效益評估，可回饋我國相關部會未來在進行基礎研究計畫結束時之評估項目參考，如計畫經費之使用情形、計畫風險，以及評估尺度之界定，以提升評估品質。

四、基礎研究計畫之效益追蹤評估

基礎研究之中長期效益通常需要更長時間展現，例如計畫之研究成果是否有影響其他科學社群或者計畫主持人本身之研究能量進展，這些效益可能展現於計畫結束後之一段時間。因此，為了能測量基礎研究計畫之中長期效益，有必要在計畫結束後進行效益追蹤與評估，此不僅讓科研機關了解計畫成效之擴散能力，更能看出其成果能否轉換為實際應用或可持續對社會、經濟產生影響。以日本為例，日本文部科學省(Ministry of Education, Culture, Sports, Science and Technology, MEXT)及其法人機關 – 日本學術振興會(JSPS)為重要基礎研究之補助機關，為了能有效追蹤計畫執行結束後之效益及評估，會於計畫執行結束後第五年進行效益追蹤及評估(MEXT, 2010; JSPS, 2017)。以MEXT為例，在進行追蹤評估時分成三階段，每個階段之執行重點如圖2所示：

在階段一的時候，會要求計畫主持人提出自評報告書以作為後續審查人員之參考。自評報告書之內容如表3所示：

在階段二的時候，MEXT會針對自評報告書進行評量以完成評估意見書。在進行評估意見書時，會要求兩名評估者進行自評報告書之評量以回饋更多評估專業意見。此兩名評估者之挑選條件如下所述：

• (1)評估者應避免與計畫主持人是同一研究機構或同部門。
• (2)評估者應避免是MEXT審議會之人員。另外，所推薦之評估人員不得向審議會主席以外之人士透漏，以及不得在評估意見書公佈評估人員姓名。

評估人員對自我評估報告書進行再次評估，主要對自評報告書之報告項目進行評量，且採用之評估準則及評估等級如表4所示。

當完成前兩階段後，MEXT之科學研究補助審議會將根據「計畫主持人之自評書」及「評估意見書」參考來判定此計畫追蹤評估結果並通知被評估人員(計畫主持人)。MEXT採用此追蹤評估有利於了解部會所投資重大基礎研究之中長期效益，此中長期效益不僅關注傳統之績效指標(如論文產出)，更關注科研人才之研究能量是否持續進展或有良好之發展機會，以及科研成果對社會之貢獻。

五、結論與相關建議

政府對於基礎研究的投入及重視將直接影響我國科學競爭力及人才吸引力，此外，對於整個科研創新系統體系中，基礎研究之成果為應用研究、技術開發類研究的重要後盾。我國科技部於今年宣示厚植基礎研究之決心，規劃專為基礎研究所提之計畫書，其後續基礎研究計畫執行之效益監測、執行結束時之效益評估及追蹤評估將反應此基礎研究經費投入成效，以及有利於機關首長回應國會及民眾之關切問題。此外，對於我國公部門在推動評估文化不可或缺之一環 — 發展相關評估文件及核心評估指標，若能整合相關基礎研究評估文件並對應機關之宗旨及任務，相信能提升部會於基礎研究計畫之評估能量。

本研究回顧美國、加拿大、歐盟、南韓、日本等科研機關在推動基礎研究之相關作法，以期給予我國公部門未來進行基礎研究計畫之效益監測、結束時之效益評估，以及效益追蹤評估之參考。從上述內容可知，建立一個合理且可測量之基礎研究計畫邏輯架構，不僅可明瞭績效展現之時程外，評估人員可據此架構設計計畫之績效指標及評估問題。因此，我國在未來進行基礎研究計畫之效益監測、結束時之效益評估，以及效益追蹤評估，提出以下幾點建議以作為後續執行時之參考：

• 持續完善基礎研究在不同時程之績效指標，並據此發展或調整不同研究學門之指標。我國目前雖有列出科技計畫之主要績效指標表(科技部，2018)，其中與基礎研究領域較相關之指標除了學術成就效益外，更應以系統化之方式完善發展績效指標及考慮時程之展現。此外，基礎研究領域涵蓋多個學門，如人文社會、理工、生物醫學等，不同學門之計畫活動所展現之績效指標會有差異。因此，可行方式之一為建立一般或通用性之基礎研究計畫邏輯架構(含績效指標)，如南韓MSIT所發展之基礎研究計畫邏輯架構，各部會在執行不同學門基礎研究計畫可據此發展或調整其績效指標或邏輯架構。
• 擴充及更新基礎研究計畫之效益評估項目。我國目前針對補助大專院校進行基礎研究之專題計畫，其成果之評量項目涵蓋較少，可適時參考國外相關補助基礎研究之科研機關之作法。例如，以本研究在探討JSPS及ERC補助計畫結束時之效益評估，計畫之風險及研究經費使用情形，可作為我國後續在設計評估項目或準則時之參考。
• 進行追蹤評估試作。對於後續我國在推動基礎研究計畫(Basic Research Program)，會透過眾多細部執行計畫(Project)進行。然而，在評估經費有限之情況下，勢必會面臨要選擇哪些細部執行計畫進行追蹤評估，以初步了解基礎研究計畫之中長期效益，因此可行方式之一為建立計畫篩選條件進行追蹤評估試作。例如，日本MEXT及JSPS僅針對總預算介於2億至5億日圓(必要時可超過5億日圓)之細部執行計畫進行追蹤評估，此類計畫之特色是進行突出之獨特研究且有望取得優秀之研究成果(MEXT, 2018; JSPS, 2018b)。