發佈日期:2017-10-23

淺談加拿大評估制度演變及其省思

作者:羅愛雁

政策評析 加拿大 計畫評估 評估能量 Canada Program Evaluation Evaluation Capacity

▶【延伸閱讀 | STPI 電子書城】我國科技發展計畫績效評估機制研析

1

文章圖片所有權: https://goo.gl/6tRFNj ,Created by ElasticComputeFarm
版權適用聲明: CC0 Public Domain-可以做商業用途-不要求署名

2

一、前言

3

由於評估在觀念上常與課責連結,因此就人性層面而言,被評估者本就容易排斥,再加上評估需要成本,且評估在政策推動扮演著重要但非必要的角色,因此通常是政府管理體系發展漸趨成熟後、為了推動現代化政府的負責任態度,便會思考強化評估角色以促進政策循環。由此可知,就本質而言,評估並不是件容易推動的事,如何克服部會阻力、領導者如何讓評估確實落實而非表面、如何讓評估真正發揮政策回饋功能等,皆是國家發展評估時必須關注的焦點。就評估尚在起步的我國而言,了解先進國家推動評估的脈絡與體系,有助於讓我們釐清發展的方向及可能遇到的問題及其解決之道。

4

相較於美國、加拿大、澳洲、日本、南韓等先進國家利用強制性較高的立法途徑或非立法途徑推動評估,我國在推動科技計畫評估上尚處於起步階段,因此本文特選擇推動評估已久且制度成熟的加拿大,並探討其評估發展脈絡,希能作為我國發展科技計畫評估的參考。

5

二、加拿大早期評估制度

6

加拿大是現今先進國家中,致力於推動評估的國家之一。其財政部於1966年提出政府應監測計畫進展、評估計畫有效性,以及評估政府活動績效。爾後1969年開始推動規劃、執行與預算分配(planning, programming, and budgeting),並建立計畫層級的資訊系統,以蒐集相關資訊、監測計畫目標達成情形及計畫本身的適當性。為了在中央及各部會有效推動評估,國庫署秘書處(The Treasury Board Secretariat)於1969年成立規劃科(Planning Branch),並鼓勵各部門成立專門規劃與評估的單位,此時的評估推動重點在於將評估業務正式化與中央化(Segsworth, 1999)。但這樣的推動並未獲得成功,原因包括缺乏具有共識的評估理論與目的、部會的抗拒,以及缺乏考慮使用者需求的資訊系統(Dobell and Zussman, 1981)。

7

1977年加拿大政府推動了第一個涵蓋整個政府的評估政策,主要基於「讓管理者管理」的概念,要求部會副首長為其部會及計畫承擔更多的責任,並對績效及預算運用負責。同時,要求聯邦政府內的所有機關皆須定期評估其計畫的有效性及效率(Lahey, 2010)。同時期審計長、國會、財政管理與課責皇家委員會(The Royal Commission on Financial Management and Accountability)也共同響應此一政策,包含了通過審計長法案(Auditor General’s Act),提高審計長對績效評估的權責,皇家委員會也提出應每五年對計畫進行評估,以及確保政府有足夠的評估能量(Segsworth, 1999)。

8

為了回應上述需求,加拿大於1978年成立了審計長辦公室(Office of the Comptroller General)及計畫評估科(Program Evaluation Branch, PEB),以加強推動1977年的評估政策。在此階段有兩項重點,首先,PEB為了降低部會對評估的排斥,推動合作策略,藉由軟性說服部會,與資深的部門官員及外部專家持續溝通,使其了解在預算有限的時代進行計畫評估的必要。第二,PEB產出了兩份指引,分別為 計畫評估功能指引(Guide on the program Evaluation Function) 聯邦機關計畫評估準則(Principles for the Evaluation of Programs by Federal Departments and Agencies) ,這兩份文件為加拿大評估的重要基礎,敘明了加拿大計畫評估的定義及評估流程中的關鍵角色(Segsworth, 1999)。

9

三、加拿大近期評估制度

10

加拿大的評估制度在1990年代轉為強化績效監測及高階層報告,以促進績效資訊可以更容易為國會及內閣所使用。因此,各部會每年需要向國會提交部門績效報告,此一措施也強化了計畫管理者對其計畫績效測量與回報的責任。同時,此一時期的績效回報的重點也從過去的以資源運用為主轉移至產出(output)與結果(outcome)。而中央評估機關國庫署秘書處(TBS)也肩負著提供指引、監測整體績效回報與部門績效報告審查的職責(Lahey, 2010)。

11

2000年後全球化挑戰與資訊科技快速發展,加拿大民眾與企業希望更容易取得政府服務,也更期望政府計畫滿足他們的需求,因此加拿大政府認為應該要重新調整政府管理,由TBS頒布了政府管理議程─給加拿大人民的成果(Results for Canadians),提出四項主張,包含聯邦政府要以人民優先、健全公眾政府服務、成果管理,以及有責任的支出,其中監測與評估便被視為幫助部會推動此項議程的重要工具(TBS, 2000)。此時的評估政策轉向為成果導向(Results-based),發布成果導向的管理與課責架構(Results-based Management and Accountability Frameworks),此外並重新強化政府評估能量,尤其是在2001年設立了卓越評估中心(Center of Excellence for Evaluation, CEE),作為領導及協助重建因之前預算刪減而降低的評估能量(Lahey, 2010)。

12

而加拿大政府在2005年又推動了一個重要的行政政策:管理資源與成果架構(Management, Resources, and Results Structure),進一步的要求所有部會建立一個利用結果(outcomes)目標連結組織內部所有計畫的績效架構,以了解部會如何分配和管理其資源並以實證評估。政策中也要求部會需要建立資訊系統、績效測量策略、報告、治理架構以支援此政策的推動。

13

2007年政府支出管理系統(Expenditure Management System)頒布,強調政府支出應有優先順序,且應以成果及其價值作為優先排序與決策依據。2009年國庫署頒布新評估政策,特別再度釐清部門副首長的管理責任及建立評估部門負責人的勝任條件,且將評估重點放在支出是否有價值(value-for money)。而2016年再度撤銷2009年的評估政策,改以成果政策(Policy on Results)取代,主要變革重點在於終止運作已久的MRRS,改由部門成果架構(Departmental Results Frameworks)、計畫清單(Program Inventories)與績效資訊(Performance Information Profiles)取代。

14

四、小結與建議

15

從加拿大推動評估的過程,我們可以提出如下幾項觀察,以作為我國推動評估的參考。首先,從體制來看,加拿大是國際上推動評估已久且能量穩定發展的國家,其由中央評估機關TBS設置統一規範、標準、指引,藉由各聯邦機關的評估官員及部會評估委員會共同遵從,再輔以CEE持續協助建置部會評估能量及審計長作為第三方獨立的監督機關,由此可知,他們已有相當完整的推動與治理機制,其中藉由明確定義部會副部長的權責,要求建立部會的評估單位與評估官員,也是評估可順利推動並發揮決策回饋功能的一大重點。

16

然而,加拿大政府雖然很早就有績效評估的觀念,但初期並不成功,甚至被外界評論成「耗費多年在修改文字及格式」(Dobell and ussman, 1981)。經檢討後認為部會的阻力是很大的原因,除了排斥評估的人性因素外,部會抗拒的原因還包含無法了解評估的重要性及不知道如何做,因此後來1978年及2001年分別成立了PEB及CEE,與部會進行軟性溝通及加強部會的評估能量,使得評估業務在加拿大不再只是紙上作業。

17

此外,在四十多年的評估發展過程中,加拿大也不斷點出可支援評估需求的資訊系統的重要性,原因在於監測(monitoring)與評估原本就該建立在實證基礎上,因此在確立評估架構後,是否能依據架構及時間蒐集保存評估資料成為評估的成敗關鍵。而由於加拿大中央評估機關TBS已將評估執行的責任下放給各聯邦機關,因此各聯邦機關便有職責妥善的蒐集保存評估資料以進行自身的計畫管理與評估。

18

若由加拿大的例子回頭檢視我國科技計畫評估體制,首先,加拿大是以內閣層級的政策在推動評估,推動層級高,因此具有相當強制性,也需要投入相當多的預算在調整體系及強化各部會的評估能量;在歷經四十年的推動歷程中,起初也遭遇到各部會強烈的反彈,但後來仍是堅定推動,且不斷調整政策,足以顯示加拿大認定評估對政府運作的價值。相較於我國是以行政命令的方式推動,推動層級較低,也因此難以受到重視。整體而言,評估對政府的效益常是需要長期才能顯現,現階段各界對我國政府是否應強化科技計畫評估甚至調整體制也尚未有定論。但無論如何,現階段皆可參考加拿大,先從強化各部會的評估能量著手,一來可讓評估品質得到提升,另一方面也可以藉由讓部會了解評估的真正意涵與價值,進而討論評估在我國的未來發展。其次,我國科技部雖有建置「政府科技計畫資訊網」,但其目的主要為支援計畫審議與評估的作業平台,並非以滿足評估執行需求為目的的資料庫,因此限縮了許多評估的可行性;而各部會目前也是自主性的進行相關平台建置,其功能與品質乃依據部會資源與能量不一。未來若能強化各部會的評估能量,部會便有能力了解其評估需求並優化其資料庫,方能進行更有意義的評估,評估的價值方能真正展現。

19

參考文獻

  1. Dobell, R. and Zussman, D. (1981). An Evaluation System for Government: If Politics is Theatre then Evaluation is (mostly) Art. Canadian Public Administration 24 (3).
  2. Lahey, R. (2010). The Canadian M&E System: Lessons Learned from 30 Years of Development. Retrieved from: http://siteresources.worldbank.org/INTEVACAPDEV/Resources/ecd_wp_23.pdf
  3. Segsworth, R. V.(1999). Policy and Program Evaluation in the Government of Canada. In R. C. Rist (Ed), Program Evaluation and the Management of Government: Patterns and Prospective across Eight Nations (pp 21-36). New Brunswick, New Jersey: Transaction Publishers.
  4. The Treasury Board of Canada Secretariat (2000). Results for Canadians: A Framework for the Government of Canada. Retrieved from: https://www.tbs-sct.gc.ca/report/res_can/rc-eng.pdf