發佈日期:2017-09-04

綜合績效評等系統(CPRS)於我國科技計畫評估之應用

作者:劉玳縈

科研投入 美國先進計畫 綜合績效評等系統 中期效益 投資組合 Advanced Technology Program (ATP) Composite Performance Rating System (CPRS) Intermediate Benefit Portfolio

▶【延伸閱讀 | STPI 電子書城】我國科技發展計畫績效評估機制研析

1

文章圖片所有權: https://goo.gl/1qRYfN ,Created by PatternPictures
版權適用聲明: CC0 Public Domain-可以做商業用途-不要求署名

2

一、綜合績效評等系統發展之背景介紹

3

發展CPRS的背景如下,ATP在1997年對於已完成研發計畫執行評估,評估單位首先針對計畫既有的「現況報告」(Status Report)進行分析,現況報告是ATP對於計畫結束約兩年的簡短案例描述,每一計畫(Project)皆有十一項的計畫摘要元素(Ruegg, 2001; Kanninen & Lemola, 2006)。雖然現況報告提供了ATP計畫(Program)經理人在計畫(Project)績效的量化指標和質化資訊,但仍然不容易評估整個計畫(Project)投資組合的整體績效,因為這些指標不能互相比較、對整體績效的意義不清楚且多屬質化形式的資訊(Kanninen & Lemola, 2006),加上利害關係人預期ATP管理員知道,在長期目標展現之前,這些已經完成計畫(Project)的進展是如何及是否在實現長期期望的軌道上,但當時計畫完成後與長期效益展現之前(過渡時期)沒有中期效益測量方法(Ruegg, 2006),因此促成了CPRS的發展並運用這些案例研究所產生的資訊,有效地將複雜質量化的資訊摘要成容易溝通的評等資訊。

4

CPRS除了產出(Output)、結果(Outcome)指標之外,還納入了質化專家判斷的未來展望(Outlook)數據資料(Ruegg, 2006; Ruegg &Feller, 2003, part II),我們可以將這十一項計畫摘要元素區分為三大類加以簡介如下:

5
  • 產出:計畫開始時的廠商員工數及研發進行時的廠商員工數、出版和發表的約略數量、專利
  • 結果:技術和它的應用、確定商業化的產品或製程、技術和商業獎章、受補助資料、新聯盟的形成與目的、募集資金
  • 未來展望:分析師對繼續追求技術前景的簡要評估、獲獎者或其密切合作者的發展和商業化
6

也就是CPRS所用的資料是從上述現況報告計畫(Project)摘要元素而來的,係以產出指標、結果資料賦予中期結果意涵,並且評估時點是在計畫完成後3年,在長期效益展現之前,要了解這些計畫的進展及是否在長期目標的軌道上邁進。由於計畫屬性與現有資料的關係,因此中期目標三個面向的指標設計為「技術獎章、專利資料、出版與發表、預期上市之產品、共同研究、增值吸引力、勞動變動率、商業獎章、未來展望」9個指標,透過專家質化意見及量化算則將指標轉化為中期目標的效益分數。

7

二、CPRS之算則運用及星等形成方法

8

1. 指標數量轉化為評分之質量化方法

9

CPRS是針對測量計畫在知識創造、知識散布、商業化三個計畫(Program)中期目標上的進展,呈現出ATP計畫(Project)組合的中期整體績效,因此在這些目標上建立衡量的指標,以幫助計畫經理人快速評估計畫績效分布(Ruegg, 2006)。

10

以商業化構面的效益評估為例,說明如何給予指標變數之算則與權重,CPRS設計者選出五個指標如表1,第一個欄位所示為預期上市之產品、增值吸引力、勞動變動率、商業獎章、未來展望。第二欄是50個ATP計畫在這些指標的數量範圍,第三欄為指標加權方式,第四欄為每一個指標原始分數的範圍(Ruegg, 2006)。

11

預期上市之產品中,包含已上市或即將上市的產品和製程,將給予相對較重的加權,因為它表示計畫已經進展到可以產生經濟效益階段的可能性。由於專家認為第一項產品或製程將獲得4.25分,另外再增加的產品與製程的邊際價值(Marginal Value)將遞減,因此CPRS的算則將其數量(N)開根號。

12

增值吸引力被認為是商業化進展的有用指標,因為它表示出現額外的資源可用於進一步未來的商業發展,因此常被視為技術風險水平已經充分降低的信號。但因為專家認為無法確定是否多個資金來源比單一資金來源更有增值吸引力,因此增值吸引力的計算,不論金額,若吸引一項或多項確定的資金來源則獲得3分,若沒有則0分。指標範圍納入為了繼續實現目標而獲得額外的資金,而有關各種資金來源的資訊,如:資金數量及資金金額的部分數據都不包括在內。

13

勞動變動率的部分,大多數計畫參與廠商在計畫啟動時規模都很小,所以一些項目的增長率一般都很大,50%的增長率是常規,因此企業勞動變動率小於等於50%得到0分,而大於50%的增長率則算則與加權為2.5乘上勞動變動率開四次根號。破產倒閉分數為-6(負值),表示計畫預期的商業化進展路徑嚴重受阻。合資或大企業得到1.5分。

14

此外,商業獎章加權方式,第一個獎章是3.25分,而依據專家質化意見,獎章的邊際價值大幅遞減,每額外增加一個加上0.25分。未來展望為轉換價值的能力,正向獲得4分、持平得到0分、負向得到-4分(扣4分)。

15

至於這些加權運算方式及數值如何決定? Ruegg使用了試誤法(Trial-and-error Approach),並且從計畫管理中獲得有關不同計畫所提供的結果回饋而得到指標的加權與算則,並針對每一個構面都進行敏感度測試(Sensitivity Testing),也就是測試每一指標價值變化、組合變化或測試結果對極值的敏感度,增加指標評等鑑別度。

16

值得一提,CPRS以單一指標測量多面向效益,每一個構面皆有多個指標衡量評分構面,且同一指標可能出現在不同的構面中可能具有不同的結果意涵,因此在不同構面其權重則不同,例如:專利同時具有知識創造與知識散布的進展之效益意涵,新商品同時具有知識創造、知識散布與商業化之意涵。

17

表1商業構面之指標

指標名稱 觀察值範圍 加權運算 原始分數 備註
預期上市之產品 0-5 3+1.25*√N 0~5.8 商品已命名、已上市之產品數量
增值吸引力 0或3 無 = 0分;有 = 3分 0~3 研發過程中是否有其他資金來源投入
勞動變動率 %變動率
(中小企業)
1.破產倒閉=-6分
2.合資或大企業=1.5分
3.勞動變動率<50%=0分
4.勞動變動率≧50% =2.5*∜勞動變動率
-6~5.2 廠商勞動力變動率
商業獎項 0-3 3+0.25*N 0~3.8 第三團體評定
未來展望 轉換價值能力-4~+4 悲觀 = -4分,平平= 0分, 樂觀= 4分 -4~+4 質化分析(例如專家意見)
原始總分 -10~21.7
18

2.分數轉化為評等之方法

19

在ATP計畫之綜合績效評等系統中,利用專家判斷(Expert Judgment)挑選出指標變數(Selected Indicator Variable)並且給予算則與權重,計算其原始分數(Raw Score),並將三個構面(知識創造、知識散佈、商業化)之中的指標(技術獎章、專利資料、出版與發表、預期上市之產品、共同研究、增值吸引力、勞動變動率、商業獎章、未來展望)分數加總,CPRS的一般公式如下:

20

21

其中i = K個任務驅動目標的第j個,其中P個進展指標中的第i個; γIi = Ii 進展指標的加權因子;P=給定的一個任務驅動目標中,其進展指標的數目,從1到P個;K=有進展指標的任務驅動目標之數目。A=調整因子將原始總分轉換成0-4點量表。

22

在此有3個(CPRS公式的K)任務驅動目標也就是知識創造、知識散佈、商業構面,每一個構面目標有4或5個(CPRS公式的P)指標(Ruegg, 2006;耿筠等, 2013),將這些構面的指標分數都加總起來形成CPRS原始總分;並利用調整因子(Adjustment Factor)轉換成星等(Star Rating),調整CPRS分數介於0~5之間並產生0-4星等的綜合績效評等指標(Ruegg, 2006; Kanninen & Lemola, 2006)。若調整後分數大於等於4分以上為4顆星,小於4分大於等於3分為3顆星,以此類推,小於1分則無星等(Ruegg &Feller, 2003; Ruegg, 2006)。

23

三、計畫(Project)績效評等分布與成效進展分析

24

CPRS提供了一個易於掌握的管理和溝通工具,能夠突顯整體投資組合的表現,並顯示哪些計畫在中期期間,表現出強勁、弱或是中等地向計畫目標進展的跡象(Ruegg, 2006)。例如圖1,ATP已完成50個計畫在知識創造、知識散佈和商業化構面,24%為一顆或者沒有星等的計畫,表示可能在技術表現出很少的進步跡象(就指標而言)或是早期顯現進步跡象但後來成果衰退的計畫。兩星等(34%)的計畫顯示出計畫進展良好但未達到強勁進展,且其未來前景似乎不甚有利,這類的計畫也可能包括開發速度很慢的技術,或者所需時間超出CPRS的評估時間框架。42%是三星級或四星級的計畫,表示計畫持續進步,持續實現商業化,未來前景樂觀(Ruegg, 2006)。

25

CPRS除了呈現上述的ATP計畫(Project)的績效評等分布情形外,同時針對整體的評等分布情形進行分析,檢視此一分布是否符合計畫管理者的期望。以上述ATP的評等分布為例,評估者認為,因為ATP所挑選的研究計畫具有高風險的性質,代表計畫(Project)在對付難以解決的技術挑戰時存在一定程度的失敗機率(圖1中紅圈處),因此ATP的投資組合在計畫完成後三年達到上述計畫評等分布狀況,其效益進展已是符合預期。該方法已經在50個已完成計畫及2007年188個計畫中進行測試(耿筠等, 2013),結果顯示CPRS有效地將高績效(由方法定義)和低績效的計畫(Project)加以區別(圖1),可闡明計畫績效的分布(Kanninen & Lemola, 2006)。

26

CPRS已被ATP用於投資組合管理,並在重點期間向ATP的監督和諮詢機構、公共政策分析師、評估小組,以及更廣泛的科技界和一般公眾簡單介紹ATP的績效(Ruegg, 2006)。

27

圖1 50個已完成ATP計畫之績效分布圖

28

四、探討將綜合績效評等系統運用在我國的科技計畫上

29

Ruegg (2006)指出,CPRS是為ATP的應用量身訂做設計的,不適合直接套用在其他不同任務的計畫,必須重新改訂(Reformulate)後才能應用在與ATP不同的任務、目標和時間範圍的其他公共研發計畫,或者在其生命週期早期或晚期對計畫的績效進行評估。例如,若是計畫屬性與ATP相似但在計畫結束後就評估效益,比較適合以短期目標如合作形成、發展提案、研發加速及研究槓桿等面向設計相關指標,再計算星等評判計畫的進展是否符合預期;而不適合中期目標構面為指標,如商業化構面的指標,因為在此時間點應該尚未有預期上市之產品等。

30

ATP計畫鼓勵企業投入風險較高的科技研發,這與我國的業界科專計畫(如,工業升級研究技術開發計畫)很相似(Cheng & Lin, 袁建中等, 2011)都是產業發展導向的計畫,若是計畫完成後2~3年進行評估,依照計畫屬性與資料設定適合的目標,可以參考知識創造、知識散布與商業化構面做為計畫目標來評估,但指標組成及加權運算需要質化專家判斷後制訂(如可以運用的資料或計畫側重面向可能不同),再進行星等計算與評判,計畫(Project)目前進展如何及成功程度(Ruegg &Feller, 2003, part III),以及是否朝計畫(Program)目標進展,以利後續資源配置。

31

在此提供績效評等系統之操作流程(圖2)做為評估科技計畫的參考。時間點在評估績效扮演重要角色,有些效益可能在計畫結束後幾年才產生,首先要先確立計畫的目標是屬於短、中、長期的哪一種,若是如ATP是計畫完成後約3年再進行績效評估,則計畫的目標應該為中期目標;若計畫仍在進行其計畫目標屬於初期目標或短期目標,所衡量的目標面向則有所不同(衡量的指標也有所差異)。計畫目標確立後,接著建立計畫指標,專家判斷挑選出指標變數給予算則與權重,可參照CPRS的計算公式建立屬於該計畫的績效評等系統,此績效評等系統要能夠闡明計畫績效分布,以利後續對表現弱或比較沒有朝計畫目標進展的計畫深入了解給予輔導或協助改善,促進計畫往目標進展(圖2),而對已經完成的計畫,可以深入了解並回饋未來計畫。

32

圖2 績效評等系統之操作

33

參考文獻

  1. 袁建中、王晉元、姚銘忠(2011)。交通科技管理策略規劃研究 (Vol. 1010000178)。中華民國政府出版品 (pp. 5-4)
  2. 耿筠、劉耀中、薛招治、張淑敏、陳樹榮(2013)。我國與美國科技計畫績效評估方法之探討。
  3. Cheng, L.P., & Lin, Y.C. Science and Technology Policy Evaluation with Effective Index Measurement System: Comparing Taiwan and US. Retrieved from: https://gra103.aca.ntu.edu.tw/gdoc/100/D96741002a.pdf?origin=publication_detail
  4. Kanninen, S., & Lemola, T. (2006). Methods for evaluating the impact of basic research funding. Academy of Finland.
  5. Ruegg, R. November 2001. Performance Rating System for ATP-Funded Completed Projects. Unpublished report.
  6. Ruegg, R. (2003). Assessing Portfolio Performance of a Public R&D Program in the Short-to-Intermediate Period: Tools from the USA’s Advanced Technology Program. BUNDESMINISTERIUM FÜR BILDUNG, WISSENSCHAFT UND KULTUR (pp. 2-7). Retrieved from: http://www.fteval.at/upload/Newsletter_19.pdf
  7. Ruegg, R. (2006). Bridging from Project Case Study to Portfolio Analysis in a Public R&D Program. A Framework for Evaluation and Introduction to a Composite Performance Rating System, NIST GCR, 891.
  8. Ruegg, R., & Feller, I. (2003). A Toolkit for Evaluating Public R & D Investment: Models, Methods, and Findings from ATP's First Decade. US Department of Commerce, Technology Administration, National Institute of Standards and Technology.