發佈日期:2019-05-28

影響評估之新方法─快速影響評估(Rapid Impact Evaluation)

作者: 羅愛雁

科研投入 影響評估 科技計畫 快速影響評估 Impact Evaluation S&T Program Rapid Impact Evaluation

文章圖片所有權: https://pse.is/HXWQB ,Created by geralt
版權適用聲明: :CC0 Public Domain-可以做商業用途-不要求署名

1 1

一、前言

2 2

依照OECD建議,計畫進行評估時應從相關性(Relevance)、有效性(Effectiveness)、效率(Efficiency)、永續性(Sustainability)、影響(Impact)等五大觀點著手進行評估,各觀點都有其意義,相關性之目的在於探討計畫是否有正當性?有效性則是評估計畫目的之達成程度;效率在於了解計畫資源投入轉化為成果的經濟效率;永續性則是了解計畫的正面效果能否持續發生;而影響(Impact)評估之目的則在於評估計畫是否達到其最終目標?所產生對群體之正向/負向改變中,可歸因於計畫的比例多高?由此可知,對民眾而言,計畫所產生的「影響」是最切身相關的,因此影響評估也常是其最關切的議題。

3 3

二、常見影響評估方法之限制

4 4

然而計畫的影響評估通常困難且費時費力。主要原因在於若計畫要對整體社群產生影響,通常必須在計畫結束後一段時間才會發生,此時,整個社群的改變已非純然由計畫造成,而是與許多外在因素融合所造成的結果。因此影響評估通常無法單純藉由績效監測(Performance monitoring)取得之資料直接進行評估,而需要進行反事實(Counterfactual)分析的深入評估,也就是要釐清若無計畫對所要衡量的影響有何影響,進而評估計畫對該改變之貢獻程度(GAO, 2012)。此外,影響評估需要了解計畫所造成的正面與負面影響、直接與間接影響、預期與非預期影響,這些影響資料的取得皆非易事。

5 5

由於影響評估需要進行反事實分析,因此常見的研究設計包含隨機實驗(randomized designs)、準實驗設計(quasi-experimental)、時間序列(time series)、個案評估(case study)、專家判斷(expert judgment)等。如表1,不同研究設計有其特性與限制,隨機實驗由於介入性高,且成本、時間、資料需求皆高,現實中不易執行;準實驗設計較隨機實驗而言容易執行,但其牽涉到如何利用統計等專業以挑選並排除對照組的影響因子,因此在專業度上要求很高;時間序列為針對相同對象進行前後差異的比較,容易進行但所需時間較長;個案評估則可針對相同對象或類似準實驗設計挑選對照組進行深入探討,但通常能探討的對象有限。而專家判斷則相當具有優勢,但仍有過於主觀的批評。

6 6

表1 常見影響評估設計比較

成本 介入性* 時間需求 資料需求 合法性**
隨機實驗
準實驗設計 中高 中高 中高
時間序列 中高 中高
個案評估 中高 中長 中高
專家判斷
*介入性:研究設計對計畫執行的干擾程度。**合法性:研究設計符合法律規範的程度。
7 7

整體而言,影響評估需要進行深入的評估研究,目前多數的研究設計均需要很高的專業與成本,也造成影響評估在執行上的限制。

8 8

三、快速影響評估介紹

9 9

快速影響評估(Rapid Impact Evaluation)是近年由相當重視評估的加拿大中央評估機關─國庫署秘書處(Treasury Board of Canada Secretariat, TBS)所推動的一種影響評估方法,此方法是Andy Rowe博士於2004年所發展,再經由國庫署秘書處下的卓越評估中心(Center of Excellence for Evaluation, CEE)在加拿大自然資源部(Natural Resource Canada)、加拿大公共衛生署(Public Health Agency of Canada)與加拿大公共安全部(Public Safety Canada)進行先期研究後,由國庫署秘書處發布指引(Guide to Rapid Impact Evaluation),明文建議部會可以使用的一種快速影響評估方法。此方法之特點在於利用前述專家判斷方法,透過結構化問題,並結合反事實分析,平均可以在2至6個月內完成,且花費低於75萬台幣(Rowe, 2014),因此可以說是快速且低成本的影響評估方法。

10 10

此方法執行主要有四階段,簡單介紹如下:

11 11

(一)評估規劃

12 12

此階段之目的在於設計整體研究架構與進行方式,包含所需資源及專家參與機制。其中最重要的在於決定專家名單與參與方式。原因在於此方法的特點之一利用專家判斷,而專家判斷最常受到質疑的便是立場問題,因此此方法嚴格要求必須納入計畫利益關係人(人數不限,但需依照不同利益觀點加以分群,且必須涵蓋所有利益)、技術顧問(1-2名)、外部專家(4-6名),以達到納入內外部意見、平衡利益觀點的目的。

13 13

(二)發展計畫摘要(program summary)

14 14

此階段與前階段皆相當重要,因此通常會花整體執行時間的75%。此階段需要完成一份2-3頁的計畫摘要,清楚說明計畫概況、變遷理論(Theory of change)、直接效益(Direct outcome)與欲產生之影響(Intended impact)、計畫利益關係人網絡、計畫執行時間與地點、以情境為基礎的反事實情形(Scenario-based counterfactual)。其中最關鍵且困難的在於反事實情境的設定。

15 15

前述傳統方法之反事實設定強調找出「有無計畫參與」的差別,但此方法著重在找出該計畫與「最可能發生的替代方案」以進行比較,原因在於政府實際運作時,若不執行某計畫,通常會用其他方案替代,很難完全無作為,因此「有無計畫參與」的假設便不實際。舉例而言,加拿大自然資源部執行的先期評估研究中,受到評估之計畫主要是以建立網路及實體樞紐(Hub)、改善法規標準的方式提升民眾對替代能源的認知,因此其設定的「最可能發生的替代方案」便是「只有網路(無樞紐),且既存的法規標準不改變、亦無新增的法規標準」(NRCan, 2016)。重要的是,在形成替代方案時,必須要確保計畫利益關係人等對情境有共識,方能進行下一階段的評估。

16 16

(三)進行評估

17 17

前述三個專家群組(計畫利益關係人、技術顧問、外部專家)須分別針對「計畫」與「反事實情境」進行評估。評估項目主要分為兩種:「計畫介入對產生預期效益的可能性(probability)」及「對預期效益產生影響的程度(magnitude)」。在操作上,群組內每個專家須逐一針對每個效益目標,分別依照兩個評估項目進行5個級距評分(0-4),之後便可取得該專家群組內可能性與程度的平均值。兩者平均值相乘再除以16,便可估計「計畫」與「反事實情境」對該效益目標的改變。最後,計算「計畫」與「反事實情境」對效益目標改變程度的差異,即為計畫產生的「影響」。此外,在此階段亦可加入其他評估項目,例如:計畫應如何改善?或計畫活動與產出對效益的重要程度等。

18 18

(四)評估資料分析

19 19

完成評估後,便可依照實際取得之資料進行分析,包含上述「計畫」與「反事實情境」對單一效益目標的改變與整體目標的影響,以及其他額外評估項目的分析。

20 20

四、小結

21 21

由上述可知,此方法具有以下優點:(1)快速且成本低,透過專家評估及結構化的評估設計,可快速完成具有一定品質的影響評估;(2)此方法無需太多細部評估資料,因此即使在計畫結束後缺乏效益追蹤的情況,或是評估資料未完整保存,仍可進行評估;(3)評估結果的呈現與使用具彈性,此評估可分別計算三種專家群組對各預期效益的評估結果,亦可透過權重計算整體影響。此外,過程中可彈性設計其他評估問題,同時進行影響評估外的其他種類評估。然而,此方法仍存在專家評估的不客觀缺點,因此在執行時須特別注意專家群組的設計與人數的平衡,以及必須提供精確的資訊,確保專家對整體計畫的共識與了解。整體而言,對講求效率的我國而言,此方法提供了成本較低且快速的解決方案,且此方法係奠基於專家評估,對計畫執行的干擾程度低,且具合法性,應為值得我國嘗試的評估方法之一。

22 22

參考文獻

  1. GAO (2009). Program Evaluation. A Variety of Rigorous Methods Can Help Identify Effective Interventions. Retrieved from: https://www.gao.gov/new.items/d1030.pdf
  2. GAO (2012). Designing Evaluations: 2012 Revision. Retrieved from: https://www.gao.gov/assets/590/588146.pdf
  3. NRCan(2016). Evaluation Report: EcoENERGY for Alternative Fuels Program. Retrieved from: https://www.nrcan.gc.ca/evaluation/reports/2016/18646#ann_b
  4. Rowe(2014). Introduction Rapid Impact Evaluation (RIE) and Associated Concepts the Scenario-Based Counterfactual and Simplified Measurement of Effects. Retrieved from: https://evaluationcanada.ca/distribution/20130618_rowe_andy.pdf
  5. TBS(n. d.). Guide to Rapid Impact Evaluation. Retrieved from: https://www.canada.ca/en/treasury-board-secretariat/services/audit-evaluation/centre-excellence-evaluation/guide-rapid-impact-evaluation.html