美國能源部之理論驅動系統評估與指標監測系統

一、緒論

系統評估(systemic evaluation)係一種專注於創新系統層次分析的理論驅動評估(theory-driven)，所謂理論驅動評估之評估途徑係指關注因果關係機制與計畫改良的形成式效益評估(formative impact evaluation)，相對地，綜整式效益評估關注的是計畫有無效益及課責。

理論驅動評估(形成式效益評估與過程評估)日益受到科技決策機關的關注，主要由於科技計畫具有高度不確定性，因而更需要以理論輔助進行因果關係分析、發掘計畫展現成效之機制，以進行事前效益預估及計畫改良，藉由理論驅動評估(theory-driven evaluation)可引導高度不確定性的技術發展路徑之決策 (Scheirer, 2012; Glasgow et al., 2014; Howell & Yemane, 2006; Jordan, 2015)。

許多科技機關也將創新系統理論應用於科技計畫評估，例如：美國國家衛生研究院(National Institute of Health, NIH)對轉譯研究計畫之評估，便採用Hage & Hollingsworth(2000)所發展的創新擴散理論(idea innovation networks theory)，以實證地測量及評估醫療研究轉譯(Translation)的散布過程 (Issel & Wells, 2017)。美國能源部(Jordan, 2008)及歐盟架構計畫(Framework Program) (Van Waarden and Oosterwijk, 2006)也都應用概念創新理論進行科技計畫或科技政策評估，歐盟架構計畫也使用概念創新網絡理論，針對德國、奧地利、芬蘭、荷蘭四個國家進行創新擴散的系統評估，這些理論驅動評估更趨向於採取系統層次之創新理論導向的系統評估(systemic evaluation)，以提供科技與非科技面向決策之整合，並透過強化個別科研計畫間的互補性，提高計畫組合之整體效益。

理論驅動評估包括供給面與需求面之創新系統理論，本文主要針對能源部針對供給面的創新理論(概念創新網絡理論)之應用進行簡析。

Hage(2013)等人指出，概念創新網絡理論基本上是承襲組織社會學中的演化(evolutionary)途徑觀點，認為研發組織分殊化，並循著變異(variation)、維持(retention)、篩選(selection)的類似生態演化過程進行變遷。透過理論的因果關係機制發掘與實證蒐集及驗證，概念創新網絡理論可以使科技決策更接近經濟分析之預測精確性，有助於發掘概念創新網絡中的阻礙 (Jordan et al., 2008; Hage, 2013)。

創新概念網絡理論認為當公私部門對特定技術領域進行大量研發投資，會促使知識生產體系內研發組織的專殊化(spcialization)，專殊化可提高研究組織的能見度，有利於知識交流，另方面提高研究組織間的知識多元性及合作所能產生的新穎性(novelty)，因而有助於促進創新系統演化。

概念創新理論將研究區分為基礎、應用、開發、生產與程序研究、品質研究、商業化研究，六個研究領域可能由不同企業或不同部門(產官學)研發機構所主導，同一研究領域內也存在著跨組織的次網絡(sub-network)，因此，當企業欲達成激進商品創新時，便需要跨越不同研究領域進行跨機構密集互動，以促進隱性知識(tacit knowledge)的知識轉移，而商品及程序創新的激進創新可能源自於任何一個研究領域，是個非線性的鏈結(chain)(Jordan, 2006)。

以下以美國能源部採用概念創新理論進行研發計畫之監測與評估實例進行簡介。

二、美國能源的多層次指標監測系統

美國能源部依據概念創新網絡理論建立了涵蓋微觀層次(micro-level)、中觀層次(meso-level)、巨觀層次(macro-level)的監測與評估機制。微觀(micro)層次指標關注如何於進行經費分配時提供篩選決策準則，以輔助思考在特定技術部門的六個RTD領域間、每個研究領域內的投資組合間、經挑選具有適當組織特徵(profile)研究機構間進行的均衡投資(公共/私人投資)(Jordan, 2018)。

（一）微觀層次監測指標

微觀(micro)層次指標關注如何於進行經費分配時提供篩選決策準則，監測指標包括：

• 1.各個研究領域內的研發投資金額
• 2.計畫所需的創新類型(激進/漸進創新)與計畫規模
• 3.執行計畫之研發機構特性是否與其所欲採取創新途徑相符合?

微觀層次的監測指標係關注研發計畫在不同研究領域中的投資狀況，以及研發執行機構之創新類型，以及研發計畫規模。有助於輔助決策者思考在特定技術部門的六個RTD領域間、每個研究領域內的投資組合間、特定組織特徵(profile)研究機構間進行的均衡投資(公共/私人投資)與配適之決策(Jordan et al., 2018)。

而此一篩選必須基於特定技術部門中的不同研究領域中知識分布、欲推動的創新模式(激進/漸進創新)，以及所需要的創新途徑及計畫規模，而此一微觀層次的篩選評估決策亦須考量中觀層次之監測指標所呈現之訊息。

（二）中觀層次監測指標

中觀層次(meso level)的指標即時地測量特定技術部門內，每個領域內的產出、各個創新網絡在個別研究領域(arena)內和研究領域間的連結性(connectedness)，以及個別研發計畫的技術性進展(technical progress)等。所謂連結性之測量指標包括跨團隊跨組織的研究人員流動、需密切面對面互動之合作計畫數等(Hage & Hollingsworth, 2000)。不同研究領域有不同的技術性進展測量方式，依據個別研發計畫所屬研究領域(research arena)分別測量其關鍵的績效提升，例如：生產及程序研究應測量製程良率提升百分比或客製化程度提升百分比，品質研究包括品管及降低商品或服務的外部性(如：能源影響)，商業化研究則包括加速進入市場百分比等(Jordan, et al., 2008)。

（三）巨觀(macro)層次監測指標

• 1.是否具備高風險資本？
• 2.具備的能力水準、組合與可得性？
• 3.研發計畫之跨組織協調模式之有效性

中觀(meso)層次的技術部門層次可以幫助我們連結到國家創新系統的巨觀(macro)制度層次，並連結到微觀(micro)層次的研究機構層次。此外，每個技術部門的技術變遷速率、商品創新頻率會有其各自的特性。

這三組監測指標除了可以用於監測計畫進展(各個研究領域之技術性進展)之外，還可以用於計畫經費分配與管理協調機制規劃之事前評估並輔助計畫篩選與研發經費配置之科技決策。當政府要分配更多預算前，應該評估公私部門的目前經費分配現況，並檢視是否存在研究的缺口(gap)。概念創新網絡專注於評估者對於六個研究領域中的每個研究領域的投資量，並協助界定潛在缺口(gap)。

概念創新網絡之理論改變了人們如何看待研發經費的組合選擇，依據激進性程度及焦點範圍，六個研究領域中的每個研究領域都必須評估漸進/激進、狹窄範圍/寬廣範圍的策略性選擇。Jordan(2006)所提出的研究特徵(research profiles)理論也透過界定機構特性來考量經費如何分配給計畫(project)及機構，以達到策略與機構特性間的配適。這很類似桶子法(bucket method)，透過企業的目標定位，將研發計畫分類後，對應企業目標(Linquiti, 2015)。依據此一多層次指標監測系統，可以經由下列流程進行決策

1.發掘低度公共研發投資之研究領域

各國政府通常會界定最適合創新之技術部門，例如：醫藥、能源等，評估者會先確認公私部門在某一技術部門內六個研究領域內的研發支出，評估是否有一兩個研究領域被忽略或者低度投資造成激進創新的成功阻礙，例如：美國能源部發現，製造研究、品質研究和商品研究的投資不足，導致汽車業雖然汽車性能與設計具技術優勢，仍然因品質及製造效率不足，而難以與日本汽車業相競爭。

2.發掘研究領域間連結的缺口

Jordan(2018)指出，在高科技部門中，激進的商品創新通常必須要有一兩個研究領域的激進知識進展，以ICT部門的摩爾定律來看，商品的績效特性的激進進展也必須要有如何製造新一代晶片及如何達成品質控管的激進的知識進展。當科學已就緒，需要一到兩個研究領域的激進創新，例如：美國的國家癌症研究院必須要藉由組成臨床試驗相關機構網絡以發展臨床試驗這樣的激進解決方案，來加速臨床試驗進程。同樣地，Hage & Hollingsworth (2000)指出，激進創新的商品往往需要全新的行銷配送管道才能促使激進創新得以成功商業化。藉由發掘研究領域間連結或投資之缺口，可以有效解決系統失靈問題。

三、創新類型與計畫協調型式之對應

美國能源部應用概念創新網絡進行計畫監測與系統評估，主要係關注能源部所執行的基礎研究與應用研究之計畫，Jordan(2006)認為過去關於跨組織合作網絡之研究多關注私人企業，而無法處理私人企業之開發研究與基礎應用研究之學研機構研究人員之研究動機的差異。

（一）漸進創新與激進創新

由於許多科研計畫強調科技對於整體社會之應用效益，這類的科研計畫屬於漸進式創新(incremental innovation)，因此基礎及應用研究若要在漸進式創新中取得成功，便必須使其能快速進行知識移轉，即使這些基礎應用研究是激進知識，仍然必須將其應用於支援現有需求，而非用於支援新需要(new need)，也就是必須降低基礎應用研究的激進程度。在此一思維下，若美國能源部的某些計畫的目標在於擴大社會應用之漸進式創新，所需選擇的基礎應用研究也就不會是激進創新式的基礎應用研究。

（二）計畫規模大小

Jordan (2006)認為，依據權變理論(contingency theory)，計畫的結構應該對應其所選擇之策略，當計畫管理者能夠處理計畫結構與創新策略間的結構性緊張才能產生良好的研究成果。

所謂的計畫結構包括計畫規模與複雜性，計畫規模係指計畫所擁有資源大小，研究計畫大小包括金錢成本、研究人員數量及設備的多樣性及數量。計畫規模會影響計畫執行者被賦予的研究自主性大小，也就是計畫之執行研究者對於研究方向與技術性決策的決定權大小，而基礎應用研究之研究人員而言，研究自主性及研究認可是極為關鍵的研發誘因(Jordan, 2006)。

（三）研究計畫複雜性

研究計畫的複雜性表現在下列兩個面向：

1.科學及工程學門的多元性

學門的多元性可測量完成研究計畫所需的專業量，也可以測量研究人員與技術人員的整合，創新網絡內的研究組織的知識多元性愈高，愈容易產生激進創新(Hage & Hollingsworth, 2000; Jordan, 2006 )。

2.外部聚焦

研究計畫所需的專業是否存在計畫成員的組織內部，當研究計畫需要引入外部資源及知識時，計畫的複雜性便會升高。

當研究計畫所欲推動的是激進創新時，便應選擇計畫複雜性較高的計畫提案，然而，Jordan(2006)指出計畫管理機關往往面臨計畫複雜性及研究自主性間之間的兩難，當推動激進創新時，需要提升計畫複雜性以擴大研究的認知距離。如同Nooteboom等人(2007)以及Hage & Hollingsworth (2000)所指出，多元性及認知距離擴大可提升研發的新穎性，然而，當激進創新擴大了認知距離，卻也會使研發人員因溝通困難、吸收能量(absorptive capacity)下降，而傾向於減少溝通，Jordan (2006)進一步指出，此一溝通誘因降低的問題會因為交易成本的問題而更為降低，因為，當激進創新研究計畫要取得外部知識，需要付出搜尋時間與精力之成本，以及失去計畫或組織自主性之成本。她因此認為，對於計畫管理機關的挑戰在於如何鼓勵面對面互動溝通及隱性知識(tacit knowledge)分享。

簡言之，當研究計畫之執行組織需要進行跨組織合作才能達成所需知識之多元性時，便需要採取大型計畫及較強的計畫協調結構，此一協調結構會降低研究自主性而降低跨組織溝通的誘因，因而管理協調者必須要建立誘因鼓勵知識分享，以降低創新策略與計畫結構之間的緊張關係。

四、小結

知識與創新概念在創新系統中的知識流動與技術擴散速率涉及到創新系統內的研發組織分工、研發組織之組織學習、研發組織之創新策略、跨機構之計畫管理結構等因素。理論驅動評估可以基於創新理論之基礎，進行假設建立、資料蒐集與假設驗證，以實證驗證假設，並輔助計畫事前評估與期中監測，並動態監測計畫進展，即時進行計畫介入，透過美國能源部之相關評估機制之應用，期能有助於思考我國科技計畫之理論驅動評估之應用。