應用過程式評估提升科研機關之計畫管理能量

一、前言

目前歐、美國家針對科技計畫 (Program) 之評估方法分為計畫事前評估 (Ex-ante evaluation)、計畫執行中之過程式評估 (Process evaluation)、計畫事後評估 (Ex-post evaluation)。計畫事前評估主要是針對計畫規劃內容進行檢視以利計畫後續之預算審議能順利進行。例如歐盟發佈計畫事前評估指引 (Ex Ante Evaluation: A Practical Guild for Preparing Proposals for Expenditure Programmes) 作為計畫規劃時之參考準則 (European Commission, 2001)，如「問題分析與需求評估」、 「目標設定與相關指標」、 「替選方案與風險評估」、「過去計畫經驗之學習」等。美國重要科研機關能源部 (Department of Energy, DOE) 發佈計畫管考指引 (Project manager’s guide to managing impact and process evaluation studies )，指引說明出計畫進行內容規劃時可以導入需求評量 (Needs assessment) 以使計畫目標、潛在參與者、執行策略更明確化並有益於後續計畫能順利執行 (Agyeman & Barnes, 2015)，此功能與歐盟之事前評估均著重於計畫規劃內容之檢視。計畫執行中之過程式評估主要是評量計畫執行過程中之品質或與預期規劃之目標進展，透過評估結果之發現以改善後續計畫執行情形。計畫事後評估主要是評量計畫結束後整體計畫效益或計畫是否顯著影響計畫參與者，透過評估結果回饋於未來新計畫之規劃設計。美國重要科研機關如能源部及衛生研究院均設立評估部門 (能源部：策略規劃及效益分析部門；衛生研究院：評估及績效報告辦公室) 針對重大科技計畫進行過程式及效益評估。

政府目前針對重大研發計畫 (R&D program) 的管理較著重事後效益評估 (Outcome evaluation)，對於一開始之計畫形成、主題範籌、計畫活動與計畫目標之因果關係、計畫成效之時程展現等規劃較無系統化地架構呈現。計畫執行期間之監測及評估皆是有利於計畫在進行事後效益評估之管理，例如需要監測資料及執行期間之評估結果輔助計畫事後效益分析，以及從分析結果產生決策(如後續之預算投資重點及回應民眾之課責)。因此，計畫管理者若能從計畫初始形成階段至執行期間進行系統化評估及管理計畫資源 (如計畫人力/成本/時間) 將節省計畫在事後效益評估之執行時間及增加評估之成功性。

計畫管理者為了能有效管理計畫從初始階段至執行過程中之品質，需要擬定一套妥適之評估規劃內容，如規劃評估問題、評估問題所需之資料蒐集策略 (包含資料蒐集來源、資料蒐集工具、資料蒐集時間、資料可用性)，以及評估結果之應用以提升計畫從初始至執行過程中之管考品質。此規劃內容又可稱之為計畫過程式評估規劃 (Process evaluation plan)，我國科研機關決策者或計畫管理者可以透過此過程式評估規劃來改善重大研發計畫執行中之管考問題，這些問題包含如下：

(一) 我國科研機關缺乏明確之過程式評估規劃指引或通則，此將影響計畫管理者無法透過系統性分析及檢驗科技計畫執行中的績效管理、資源管理，以及資料蒐集策略。

(二) 我國重大研發計畫在期中評估仍是仰賴學者專家進行評估，缺少多面向評估 (如利害相關者、業界對計畫之評估)。此可能影響實際細部執行計畫 (Project) 於期中評估時之客觀性，例如此細部執行計畫後續執行是否能被商業化或實際解決社會問題。此外，重大研發計畫在期中評估後所修正之研發計畫投資組合 (Project portfolio)，仍沒有詳細規範投資組合之風險管理。

(三) 我國重大研發計畫於資料庫管理如監測資料系統/成效追蹤系統無有效建置，此將影響發展以證據導向 (Evidence-based) 之決策管理系統。資料庫建置、維護及使用頻率皆是直接或間接影響過程式評估及效益評估能否成功之因素之一。因此，完備資料庫及發展資料蒐集策略為計畫管理者對重大科技計畫管考持續努力之方向。

因此，本研究旨在探討科研機關如何採用系統化之過程評估規劃進行科技計畫之管考，透過此規劃裨使計畫管理者能掌握計畫執行中之品質、計畫是否偏離原先設定之目標及後續因應措施、計畫資源之有效整合以提升資源最大化使用效益。透過此過程評估規劃不僅降低科研機關進行重大研發計畫時可能面臨提報成效與預期甚大差異之風險，更可提升科研機關之計畫管理及評估能量。本研究共分為五部份，除第一部份前言外，第二部份為過程式評估介紹及如何擬定計畫過程式評估規劃，包含重要之評估要項、評估問題、資料管理策略，以及評估用途，第三部份為介紹科研機關如何實際應用過程式評估，第四部份為過程式評估對於計畫管理者之決策及管理意涵，第五部份為結論及建議。

二、過程式評估及規劃評估內容介紹

過程式評估 (Process evaluation) 主要於計畫執行過程中評量計畫之效率及有效性 (Efficiency and effectiveness)，以及了解進展之障礙。計畫管理者能透過過程式評估的結果回饋至計畫內容規劃，如計畫在執行中是否如預期影響主要目標、執行成本是否超過預期，而進行計畫內容之修正或調整 (Agyeman et al., 2015; Rossi et al., 2004)。近年來，過程式評估已成為各國科研機關、研究機構針對投入之重大研究計畫進行管考以回饋計畫事後之效益評估及未來新計畫規劃。例如英國研究機構醫療研究協會 (Medical Research Council, MRC) 所建置之過程式評估指引 (Moore et al., 2015)、美國衛生研究院 (National Institute of Health, NIH) 針對重大研發計畫進行過程評估報告，以及相關學者發表過程式評估於公共醫療介入及研究分析及著作 (Saunders et al., 2005; Steckler & Linnan, 2002)。本研究參考相關建置科技計畫過程式評估文獻 (Saunders et al., 2005; Steckler & Linnan, 2002)，整理科研機關如何擬定過程式評估規劃及蒐集相關評估資料以落實規劃。

計畫管理者在擬定過程式評估規劃，其過程可解構成六步驟 (Saunders et al., 2005)。圖 1 為此步驟之流程圖，步驟1及步驟2主要針對計畫內容進行解構及說明、計畫成效展現 (如計畫產出、計畫短期效益、計畫中介效益，以及計畫長期效益)。因此，可發現在前 2 步驟之重點是計畫能否清楚說明計畫活動與計畫目標之因果關係，以及計畫在成果展現時是否能測得其成效。步驟3至步驟5為反覆回饋，亦即過程式評估在執行中會考量評估資源之限制、影響計畫執行之潛在因素而回饋及修正評估問題及方法。例如，當初部決定過程式評估問題後，往往會因實際採用評估方法之過程中發現所需評估資料或外在因素 (如總體經濟或政策因子) 無法取得或控制，此時需思考所規劃之評估問題、評估方法之可行性並作因應 (如評估問題之修正、評估方法之重新規劃)，以完善整個過程式評估規劃 (步驟 6)。此外，相關文獻 (Saunders et al., 2005; Steckler & Linnan, 2002) 亦指出進行過程式評估需考慮核心之評估要項及評估問題，因決定了評估要項才會進一步決定評估問題。相關核心評估要項如計畫執行品質 (Fidelity)、計畫活動項目實際給計畫參與者之比例 (Does delivered)、計畫參與者參與計畫之程度 (Does received)、預期計畫參與者參與計畫之比例 (Reach) 等。每個評估要項決定了評估問題，如「計畫參與者參與計畫之程度 (Does received)」評估要項之評估問題為「計畫參與者參與計畫之程度或對計畫介入之反應如何」？此外，每個過程式評估問題分析之結果可應用於計畫於執行過程或計畫結束後之回饋或修正，也就是過程式評估結果有益於達到計畫形成式 (Formative) 及綜整式 (Summarize) 用途。計畫形成式功能旨在監測及調整計畫執行內容以避免偏離原先規劃方向；計畫綜整式功能旨在描述過程式評估資料分析後，有利於判斷計畫是否對參與者造成影響。表 1 係過程式評估規劃表之詳細內容定義，包含評估要項、評估問題，以及評估用途。

此外，過程式評估規劃之每項評估問題需要相關質、量化資料以進行評估分析，因此，在資料蒐集及管理需有一套完善系統化策略，包含資料蒐集設計、資料來源、資料蒐集工具或測量、資料管理，以及資料分析及綜整解讀。資料蒐集的完整度及可用性將影響評估結果，因此，在蒐集資料之過程中需進行取捨，且需考慮資料蒐集成本、資料是否可用於規劃之評估問題、資料之品質，以及資料輸入過程之精確性等相關影響過程式評估分析之操作品質，此可避免因蒐集大量資料卻無法被採用而浪費相關人力及時間成本。表2 為相關文獻 (Saunders et al., 2005; Steckler & Linnan, 2002) 指出建立一套完善之資料管理策略所需注意要項。

三、過程式評估實際案例解說

本研究以美國衛生研究院 (National Institutes of Health, NIH) 之創新補助計畫 (New innovator award, NIA) 為例進行過程式評估案例說明 (NIH, 2011)。NIA 研究計畫主要為支持高度創新研究及早期階段之研究者，以解決醫學及行為研究所面臨之問題。NIH 為了解 NIA 計畫於執行過程中之品質，委託第三方評估單位進行該計畫執行前三年 (2007-2009) 之過程式評估。圖 2 顯示了該計畫之過程式評估架構，圖中可了解 NIA 主要之三個過程式評估項目 (計畫設計及執行、計畫之參與，以及計畫之演進) 及各子評估項目，例如以計畫參與面向而言，其子評估項目包括計畫申請者、計畫審查者及計畫申請書。表 3 呈現計畫參與面向之各子評估項目之評估問題。

對於該計畫之過程式評估所需採用到之質/量化評估資料，其資料來源從下列四處獲得：

• (一) 評估團隊與計畫領導者及計畫團隊進行面談以獲得計畫相關資訊。
• (二) NIH 所提供之計畫管理平台。
• (三) 與外部計畫審查專家進行訪談。
• (四) 評估團隊與受計畫補助者進行焦點團體訪談。

透過過程式評估可從評估結果回饋於三大評估項目。以計畫參與構面 (計畫申請者、計畫審查者、計畫書格式) 而言，NIA 計畫申請者及受補助者約有四分之三比例為先前無獲得 NIH 之補助；此外，NIA 計畫申請者的範籌亦很廣泛且鼓勵女性及少數族群進行申請。另外，對於計畫審查者及計畫書內容，透過此過程式評估結果有以下建議以提升後續計畫執行品質之提升：

(一) 計畫審查者之精進

從此過程式評估發現很多計畫審查者表達欲更多參與NIA 計畫，包含回饋他們的審查分數是否為實用、了解其他審查委員之意見，以及計畫辦公室能否提供更多訊息對於哪些申請者最終將獲得 NIA 補助。因此，過程式評估結果建議計畫管理團隊能與計畫審查者多溝通及互動，以及透明化呈現審查意見及最終計畫書被補助之相關資訊。

(二) 計畫書格式之精進

從過程式評估結果發現：於計畫書內容提供初步資料之結果並無改善計畫被補助之機率。計畫書內容提供初部資料可能阻礙申請者進行申請，因申請者有可能無法提供資料導致計畫書內容不夠完整 (NIA 計畫書頁數規定為 10 頁) 而降低申請之意願。因此，透過此評估結果可促使計畫管理者在後續計畫書格式之規劃可能須思考及討論提供初步資料是否為可行方案，並評估可能影響多少比例之新進研究者申請 NIA 計畫。

四、過程式評估對於計畫管理者之管理意涵

採用過程式評估規劃將有益於科研機關決策者或計畫管理者於下列面向之決策或管理能量，分述如下：

(一) 計畫評估資源管理

計畫管理者欲了解計畫執行過程中之成效，需考量評估問題及評估資源之取捨。因此，計畫管理者及其團隊應與計畫評估者進行討論以決定評估問題之優先順序 (Steckler & Linnan, 2002)，而在排序過程式評估問題之優先順序除了需計畫管理團隊與計畫評估者採共識決或發展一套完善之準則進行評估問題之篩選，更可依該項評估問題所需之成本以判斷是否執行此評估問題，也就是評估此問題是具有成本效益 (Cost-effective) 才優先投入評估。

(二) 計畫資料管理

計畫管理者採用過程式評估規劃表可進行有效之資料蒐集管理策略，以監測計畫執行成效，如有目的性地選擇代表性樣本進行訪談、針對關鍵過程變數進行分析，此有利於計畫里程碑檢視及後續成效追蹤。過程式評估因需要大量之資訊及資料，因此計畫管理者在規劃資料管理需考量以下事情 (Steckler & Linnan, 2002)：

• 1.資料蒐集完成後要放置於何處，是否有妥善規劃之平台可供使用
• 2.資料蒐集測量之信度及效度為何
• 3.對於計畫參與者及計畫管理團隊進行資料蒐集之潛在負擔為何
• 4.對於每項評估問題，哪種資料類型可以進行分析及分析途徑為何
• 5.哪些人員執行過程式評估資料分析，以及分析頻率為何
• 6.過程式評估報告何時完成？此報告何時被需要

值得注意的是，計畫管理者需在「資料蒐集品質」及「計畫參與者及管理團隊對於資料提供及管理負擔」之間進行取捨，因可能在檢視資料品質之過程中將提高計畫參與者及管理團隊之負擔。最後，計畫管理者也可利用所蒐集之過程式評估資料回饋至後續計畫結束後之效益評估，一方面可節省後續進行效益評估所需蒐集資料之時間，更可依過程式評估之分析報告回饋後續效益評估之分析架構及分析重點。

(三) 計畫內容規劃管理

計畫管理者採用過程式評估規劃及執行可回饋及修正計畫介入脈絡及效益展現之因果關係，此有利於未來新計畫之內容規劃 (包含設計計畫里程碑所需之指標及定義指標與計畫之連結)。計畫管理者採用過程式評估分析報告可檢視原先規劃之計畫內容是否妥適、成效是否可進行測量、技術里程碑是否在預期規劃中等重要議題、哪些計畫分項內容可產生較佳之成效。因此，計畫管理者可修正或調整計畫執行內容並採用系統化方式呈現修改後之計畫內容架構。

(四) 計畫篩選過程管理

計畫管理者採用過程式評估規劃表可改善計畫書之徵求條件以吸引潛在計畫參與者，促使更廣泛地申請者進行申請以利後續進行最佳化計畫投資組合並滿足最終計畫終點目標 (Endpoint)。此外，計畫管理者可依過程式評估檢視執行中之計畫 (Project) 是否能持續進行或終止以利預算投入於最有可能成功之執行計畫，如美國能源部之再生能源辦公室 (Energy Efficiency and Renewable Energy, EERE) 採用過程式評估之方法-門徑創新管理審查過程以提升執行計畫之成功率 (EERE, 2007)；美國國家衛生研究院利用過程式評估進行創新補助計畫 (NIA) 於計畫篩選過程之評估以回饋後續新計畫進行計畫篩選之參考 (NIH, 2011)。最後，計畫管理者可採用過程式評估檢視目前同儕審查之缺失，如降低審查者之負荷 (Huang et al., 2008; Bonetta, 2008; Fang & Casadevall, 2009)、新增審查準則 (NIH, 2007)，以及考量細部執行計畫間之技術及商業化關聯性 (Linquiti, 2015)。

五、結論與建議

我國科研機關每年補助眾多重大研發計畫，科研機關需面臨民眾及國會之課責，在此壓力下計畫管理者及其團隊需審慎關注計畫執行之每一環節，從綱要計畫初始規劃、計畫書徵選內容、細部執行計畫篩選、計畫執行至結束，均將影響整體計畫能否達到所規劃之里程碑及終點目標。計畫管理者在面臨科技計畫執行之高度不確定性，為了能檢視其執行成效需採用標準化或系統化之評估方法進行過程式評估，因此，科研機關需發展可操作化之科技計畫過程式評估指引或規劃以引導及監督計畫執行，以及避免整體計畫執行失敗之風險。在發展過程式評估指引可參考國外科研機構所發表之指引或參考相關科技計畫過程式評估案例。此外，透過發展過程式評估指引也有利於後續重大研發計畫之成效評估所需分析之資料，如提早蒐集評估資料以避免當計畫結束後面臨評估資料無法完整蒐集及採用，而導致評估失敗及影響民眾對科研機關之觀感。

最後，本研究建議科研機關或計畫管理者在發展過程式評估指引需注意的事項以提升過程式評估之執行：

(一) 計畫管理者需與計畫評估者、利害相關者、最終使用者等一同規劃過程式評估。此外，規劃過程中之有效溝通及管理 (如計畫管理者能了解評估團隊之專長或採用之評估方法是否質/量化均衡) 將有利於後續發展如所需評估問題優先順序、計畫如何進行監測及過程式評估資料蒐集策略。

(二) 計畫管理者在擬定資料蒐集策略除需考量資料可行性及品質以避免浪費更多人力資源於蒐集大量但無分析用途之資料，更應考量在計畫篩選過程中了解受補助單位是否有詳細地擬定資料管理規劃。例如，美國能源部之再生能源辦公室會考量受補助計畫之執行單位是否有擬定資料管理規劃 (Data management plan, DMP) 以降低計畫監測及成效追蹤之負荷 (EERE, 2016)。

(三) 發展過程式評估除建置過程式評估指引外，更應實際透過教育訓練課程提升計畫管理團隊對執行過程式評估之了解及使用用途，此外，透過此教育訓練課程亦將提升部會的評估能量，促使科研機關或計畫管理者在進行重大研發投資計畫時是朝向可被評估之狀態邁進，例如計畫管理者在設計或規劃計畫內容所需之成效展現是有合適的資料可供測量以落實計畫規劃內容可被監測及檢驗，以及強化計畫活動與計畫目標具有高度相關性或邏輯性。最後，計畫管理者採用過程式評估結果，有利於後續計畫內容之預算調整方向，如增加高效益分項計畫之預算配置或減少低效益分項之計畫預算。