發佈日期:2016-05-09

科技計畫事前與事後績效評估方法初探

作者: 戴政安

科研投入 科技計畫 績效評估 Scientific Research Input Science and Technology Program Performance Evaluation

文章圖片所有權: https://flic.kr/p/6ARCfW ,Created by Jorge Franganillo
版權適用聲明:姓名標示

2

一、前言

3

科技發展是提升國家競爭力與促進產業發展原動力,因此世界各國均制定政策並大力推動,將科技發展列為主要政策方向,補助企業進行研發創新。從公共政策的角度出發,政府進行研發補助後,成果效益評估相當重要,主要原因在於必須讓政策循環維持運轉,方能促使政策維持健全狀態,除了政策制定、執行外,最重要是藉由績效評估解析政策成果效益,確實瞭解政策推動成效與察覺可改善之處,據以檢討回饋,讓政策制定與執行可以穩健精進。

4

科技政策評估方法與途徑相當複雜,在評估準則方面,通常分類為三種廣泛類型:1.內容獨創性;2.操作可行性;3.計畫策略目標。依據計畫週期,可分成 事前目標設定 、事中進度管控、 事後績效評估 等不同階段,也就是從計畫規劃開始到完成階段,甚至是後續影響,各有其評估方法與議題(林博文、徐玉梅,2013)。事前目標設定與科技計畫的規劃執行有極為緊密之關係,事中進度評估則與管理及會計作業無法區分,事後績效評估包括評定計畫成效並分析資源分配至計畫的方式。由於此三類評估在本質上即有差異,分屬計畫評選、執行管考、成果評定等範疇,故本文探討之績效評估方法為事前目標設定與事後績效評估。

5

事前目標設定考量到多個目標衝突或比較計畫方案優劣,為調和不同方案對重大影響因素產生之利弊得失,可採用量化分析之多屬性決策進行評估,以作為形成決策之依據。事後績效評估經濟效益評估方法又可區分為:技術商品化途徑、非商品取向途徑、經濟計量方法途徑等類型(張錦俊等,2015),若需要瞭解影響計畫成效之因果關係,可採用經濟計量方法瞭解影響計畫績效之成因。

6

本文依據計畫週期區分事前目標設定與事後績效評估,並依據評估方法之設計周延性與應用廣泛性,簡介(一)事前目標設定:多準則決策分析之基本特性、假設前提等,可有助於事前計畫方案選擇,解決不同部門衝突,或各個方案做一優劣排序,選擇較佳方案;(二)事後績效評估:經濟計量方法之基本特性、假設前提及修正問題類型等,評估計畫績效,並回饋至計畫改良、預算分配調整等科技決策。

7

二、多準則決策分析

8

評估計畫事前目標,考量多準則決策分析(Multi-criteria Decision Making, MCDM)時,本文介紹兩類方法:一是用於產生或設計方案的多目標規劃;二是用於評估方案的多屬性決策。

9

(一)多目標規劃(Multiple Objective Decision Making, MODM)

10

1.基本特性

11

多目標規劃法是考量多個決策目標之數學規劃問題,且各個目標之間具有衝突關係,亦即某個目標的增加必定會伴隨其他目標的降低,反之亦然,這種關係有時又被稱為「權衡法(Trade-off)」。多目標規劃之目的,在使決策者於有限資源下,處置相互衝突的目標,尋找較佳的決策方案或方案集合(鄧振源,2012)。

12

2.假設前提

13

多目標規劃用於產生方案的規劃性分析,依據決策者表達偏好時機,求解假設前提區分為:(1)決策者完全不提供偏好資訊:當問題之目標式與限制式決定後,決策者不須提供任何主觀之偏好資訊,只要接受規劃者最終所提供的結果。(2)決策者於求解前提供偏好資訊:在解決實際問題前,決策者事先透過溝通,提供本身的偏好資訊,所求解為決策者的偏好解,所得之結果較容易被決策者所接受,也較符合實際的決策模式。(3)決策者在求解過程中逐漸提供偏好資訊:由於決策者對問題的認知、瞭解程度、偏好等,可能因受到決策情況與所處環境而有所改變,藉由決策者的資訊提供,而使規劃者針對決策者提供之偏好資訊作即時的調整,進行多次反覆過程後,求得最滿意解。(4)決策者在求解後提供偏好資訊:即非劣解法(Noninferior solutions),完全由規劃者求出問題中之非劣解集合,然後由決策者從中選擇最滿意解,決策者有更多選擇機會,且不需要決策者提供其偏好。多目標規劃可處理相衝突目標的權衡折衷,例如:科技計畫研擬前不同部門各有其看法與目標,可透過數學規劃技巧,當考慮資源限制時,計畫評估與選擇之決策問題,在不同部門之不同看法與目標間,選取達成共識值,使有限資源做最佳運用,藉由多目標規劃解決不同部門間之衝突,協助決策者將多個目標績效值最大化。

14

(二)多屬性決策(Multiple Attribute Decision Making, MADM)

15

1.基本特性

16

多屬性決策是常被應用於管理決策領域中之評估技術,幫助決策者在數目有限之可行方案中,依據方案之屬性特徵與評估準則,從可行方案中將各個方案做一優劣排序,評估與選擇符合決策者構想的方案(鄧振源,2012)。

17

2.假設前提

18

Satty (1980) 提出層級分析法(Analytic Hierarchy Process, AHP),適用於處理質化系統評估問題,將複雜問題由高層次往低層次逐步分解,並聚集相關決策人員進行評估,分析各方案之優劣順序或各準則權重。主要假設前提為:問題可分解為許多要素並形成階層結構、要素之間具有獨立性且可進行成對比較、要素偏好關係之遞移性可通過「一致性檢定」,各要素之優劣程度以加權法則決定。雖然AHP方法是一套有系統的質化準則評估方法,但為使進行各單元評比作業能有客觀參考依據,應在調查同時,提供完整資訊給受訪者,包括各替選方案詳細介紹,以使評估結果更為客觀合理。

19

三、經濟計量方法

20

評估計畫事後績效時,經濟計量方法常用的是迴歸模型,以解釋自變數與依變數之迴歸分析。

21

(一)迴歸分析(Regression Analysis)

22

1.基本特性

23

迴歸分析乃經濟計量最常運用的方法之一,其主旨是透過探討與建立自變數與依變數之關係(陳順宇,2009)。藉由迴歸分析可以回答下列問題:

24

(1)能否找出一個函數組合,用以說明自變數與依變數之關係?

25

(2)如果能的話,此關係強度有多大,亦即利用自變數的函數組合預測依變數的能力有多強?

26

(3)整體解釋關係是否具有統計之顯著性?

27

(4)那些自變數最重要,特別是原始模式中變數的數目能否予以減少而仍具有足夠之預測能力?

28

迴歸分析通常以最小平方法或最大概似法校估迴歸係數值,前者是找出使誤差平方和最小之係數值,後者是找出使概似函數最大之係數值。至於自變數之選擇與其型式之設定,應依據相關文獻之結果,先釐清依變數與自變數之因果關係,再彙整相關資料運用迴歸模式之建構加以驗證,而不是未經模式之形式確認,即由所彙整相關資料直接依統計檢定結果建立模式。

29

2.假設前提

30

應用迴歸分析時必須檢定以下幾項假設:(1)自變數係數之正負號與顯著性符合先驗知識;(2)無共線性問題;(3)誤差項變異數為同質性;(4)無自我相關現象(陳順宇,2009)。

31

3.修正問題類型

32

(1)加入控制變數迴歸(Regression with control):為減少實驗變數與誤差項之相關,於迴歸式中加入可能影響依變數之自變數(控制變數)。例如:Özçelik, and Taymaz (2008) 考量時間差異性之影響,加入時間變數,減少實驗變數與誤差項之相關。

33

(2)屬性分數法(Propensity scores):考量實驗組與對照組之研究設計時,必須使其他變數條件相等或接近,因此透過統計方法篩選屬性與其最相似個案作為對照組之樣本,以降低實驗組與對照組之差異性。例如:Özçelik, and Taymaz (2008) 運用屬性分數法篩選對照組,解析研發支持影響企業研發強度的可能性。

34

(3)二階段選擇模型(Two step selection models):透過第一階段Probit 模型與第二階段選擇性偏誤迴歸模型,修正樣本偏誤問題。例如:Negri et al., (2006) 運用第一階段Probit模型,求出控制變數,接續放入第二階段進行選擇性偏誤迴歸估計,若控制變數不顯著,即代表此迴歸模式無樣本偏誤問題。

35

四、結語

36

本文簡介科技計畫事前與事後績效評估方法均為量化之分析方法,但不包括基本統計或微積分等數學技巧,也不涉及資料蒐集、調查方法或無法量化時之質化分析。依據計畫週期區分為(一)事前目標設定:應用多準則決策分析,解決多個決策目標衝突或比較計畫方案優劣,屬於群體決策的互動過程。(二)事後績效評估:透過迴歸分析解析自變數與依變數之因果關係,並修正問題類型:1.加入控制變數,減少實驗變數與誤差項之相關;2.屬性分數法,降低實驗組與對照組差異性;3.二階段選擇模型,修正樣本偏誤問題。但由於績效評估方法相當廣泛,難免有重要但為本文所遺漏者,惟本文基於作為「科技計畫績效評估方法」之初探,期能協助相關研究領域人員進行使用,無論採用那一種方法,於採用方法前,必須掌握問題特性後,就問題尋找適當方法,以避免過於囿限方法論,未能掌握問題即進行績效評估。

37

參考文獻

  1. Negri, J. A. D., Lemos, M. B., and Negri, F. D., 2006, Impact of R&D Incentive Program on the Performance and Technological Efforts of Brazilian Industrial Firms, OVE/WP-14/06, Inter-American Development Bank, Washington DC.
  2. Özçelik, E. and Taymaz, E., 2008, R&D Support Programs in Developing Countries: The Turkish Experience, Research Policy, 37(2): 258-275.
  3. Saaty, T. L., 1980, Marketing Applications of the Analytic Hierarchy Process, Management Science, 26(7): 641-658.
  4. 林博文、徐玉梅,2013,我國科技計畫評估制度分析,公共治理季刊,第一卷第二期,頁18~26。
  5. 張錦俊、羅愛雁、李宜憲,2015,科技計畫之經濟效益測量與評估方法,財團法人國家實驗研院科技政策與資訊中心(未出版)。
  6. 陳順宇,2009,迴歸分析,三民書局股份有限公司。
  7. 馮正民、林楨家,2008,都市及區域分析方法,建都文化事業股份有限公司。
  8. 鄧振源,2012,多準則決策分析:方法與應用,鼎茂圖書出版股份有限公司。