發佈日期:2016-12-09

仿神經型態晶片與計算趨勢發展分析

作者:陳柏中

前瞻研究人工智慧仿神經型態系統認知計算Artificial IntelligenceNeuromorphic SystemCognitive Computing

文章圖片所有權:https://goo.gl/wyuHVm,Created by grealt
版權適用聲明:CC0 Public Domain-可以做商業用途-不要求署名

前言

仿神經型態系統(neuromorphic system)是以生物神經系統的構成、訊號傳遞與運算記憶功能進行電子電路材料、元件、電路模擬、電路設計、運算架構、演算法、系統等的工程仿真1-3,包括突觸(synapse)、神經元(neuron)、脈衝神經網路(spiking neural network)、視覺系統、聽覺系統、嗅覺系統等。

傳統電腦中央處理器運算速度因散熱與功耗問題於2004年停止提升4,改為多核心運算架構發展,但因散熱造成的暗矽(dark silicon)限制5,使得多核心無法全部同時開啟,且半導體產業的摩爾定律(Moore’s law)微縮製程因物理限制將走向終點,傳統晶片系統的計算性能增長受到限制。而藉由人腦啟發(brain-inspired)的仿神經型態工程設計則提供運算架構革新的方向,包括憶阻器(memristor)計算6、脈衝神經元整合電路(spiking-neuron circuit)7等,有潛力應用於高複雜計算問題且低耗能。

近年來,人工智慧與物聯網的崛起,使得大量資料運算的需求提升,未來智慧機器(smart machine)將可能滲透於日常生活中8。然而,傳統計算機架構的馮諾伊曼瓶頸(von Neumann bottleneck)成為一個主要問題9,當處理大量資料運算,單一中央處理器與記憶體間的資料運算規則和傳輸速度限制整體效率與計算時間,無法滿足實際即時應用情境。而仿神經型態系統利用神經網路分散架構進行平行運算與學習,可加速人工智慧計算並有機會發展非雲端的人工智慧計算硬體。本研究針對目前美歐日的相關科技政策、各國學術發展現況、產業預估進行調查,並藉由專家會議,探討仿神經型態晶片與計算對台灣發展的重要性與可行性。

國際發展情勢

2008年美國國防高等研究計劃署(Defense Advanced Research Projects Agency, DARPA)提出SyNAPSE(System of Neuromorphic Adaptive Plastic Scalable Electronics)專案計畫10,投入約1億美元,目標發展仿神經網路低功耗處理器硬體,並挑戰機器人智能達到貓的層次。2013年,美國啟動腦科學(BRAIN Initiative)計畫,其中情報高等研究計劃署(Intelligence Advanced Research Projects Activity, IARPA)所主導的腦皮層網路機器智能子計畫( Machine Intelligence from Cortical Networks, MICrONS)11,投入約1億美元,目標為革新機器學習(machine learning),透過逆向工程方式研究感官刺激下的神經反應,轉譯成人腦的演算法(the algorithms of the brain)之工作原理,讓機器得以如同人類一般的學習。

2005年歐盟第六期科研架構的未來新興科技計畫,其中FACETS (Fast Analog Computing with Emerging Transient States)12投入約1千50萬歐元於仿神經型態計算架構研發。2013年歐盟提出Human Brain Project,總預算約12億歐元,其中子計畫SP9 - Neuromorphic Computing13 和SP10 – Neurorobotics14目標發展仿神經型態計算與虛擬神經機器人。

2014 年日本內閣府啟動革新的研究開發推進計畫(IMPACT)15,其中量子人工腦為日本的先進資訊社會的重點基礎建設項目(Advanced Information Society Infrastructure Linking Quantum Artificial Brains in Quantum Network),計畫為5年期,總預算約30億日圓,結合量子技術與神經網路計算架構,挑戰縮短人工智慧運算所需的時間10萬倍。

綜觀美國、歐洲與日本政府的未來資訊技術發展政策,皆積極投入仿神經型態硬體與或計算的研發,未來將有可能拓展智慧機器(smart machine)產業。

學術發展趨勢與各國能量

1990年,美國加州理工學院Carver Mead教授提出仿神經型態電子系統(neuromorphic electronic systems)概念16,一直到2010年仍為計算科學中的小眾研究。然而,近年人工智慧興起,與半導體摩爾定律將遇到極限,仿神經型態相關研究開始成為學術上新興技術的熱點,如下圖1所示。

以Neuromorphic 關鍵字於 Web of ScienceTM 搜尋相關論文,1981年至2016年8月,總共有1000篇相關文獻,其中35篇為回顧文獻。分析其個別發表國家的研究能量,美國389篇(38.9%)為領先國,其次為中國111篇(11.1%)與瑞士99篇(9.9%),而台灣僅有15篇(1.5%),亦落後於亞洲四小龍的南韓41篇(4.1%)與新加坡25篇(2.5%)。全球發表平均引用數為16.83,台灣發表平均引用數為5.93。台灣雖有相關學術能量基礎,但相對弱勢,需適當引導並投入相關資源與人才培育,方能提升台灣人工智慧的競爭力。

其相關期刊發表領域包括電子電機(42%)、應用物理(19%)、計算機科學 (18%)、神經科學(15%)、材料 (13%)。

圖1 仿神經型態相對於人工智慧研究文獻數量比例近年趨勢變化。使用資料庫: Thomson Reuters ISI Web of Knowledge,關鍵字: Neuromorphic, Artificial Intelligence。

技術發展方向

傳統加速人工智慧運算的神經網路硬體,主要包括使用雲端中央處理器(Central Processing Unit, CPU)大規模系統、圖形處理器(Graphics Processing Unit, GPU)、現場可編程陣列(Field-Programmable Gate Array, FPGA)等。目前發展方向為提升機器學習速度、低耗能等。其中,Google深度學習使用的雲端CPU系統,於2012年的圖集測試大規模非監督學習(large scale unsupervised learning),使用1000台16核CPU,但準確率僅達15.8% ; GPU能提供藉由平行計算縮短所需時間,但相對耗能 ; FPGA應用於卷積神經網路的運算架構設計,可降低影像識別的能耗,但成本相對昂貴17

新興生物啟發的脈衝神經網路晶片,目標發展低能耗高準確率非雲端的認知計算,其主要技術發展方向包括運算架構電路設計、演算法、憶阻器等。然而,目前主要的發展障礙包括高精度類腦計算訓練算法的理論尚未成熟、缺乏通用的編成模型使得應用開發困難18。未來生物啟發的脈衝神經網路晶片,若憶阻器的製造技術成熟,將有機會在深度學習難以解決需高層次語意指導的圖像辨識問題17和訓練效率19上,發揮其優勢,預期5-10年後將實現工業應用17,18

產業現況及未來應用情境預測

仿神經型態晶片的產業營收,根據MarketsandMarkets的調查研究,2022年全球營收預估為48億美元,其營收年複合成長率26%20。仿神經型態晶片可應用於影像識別、語音辨識、及資料探勘等。Gartner認為仿神經型態硬體(neuromorphic hardware)目前位於科技發展的促動期(technology trigger),並預期於十年後有主流採用的可能性21

產業面以新興智慧機器為主軸,將是仿神經型態晶片主要市場,包括自駕車、商用無人機、家用機器人、盲人醫療器材輔具、具認知功能智慧行動裝置等。主要廠商包括IBM、Qualcomm、Nvidia、AMD等。

國內能量

國內仿神經型態相關研究計畫近年投入經費,如圖2所示,共補助約2千5百萬元,相關件數共10件,其研究性質為基礎型和應用型研究,相關研究題目主要包含腦晶片、機率型神經網路晶片、電阻式記憶體、神經形態量子計算等。國內仿神經型態研究投入集中於近4年,相關研究人力與計畫經費有限。

圖2 仿神經型態近年相關計畫投入經費。使用資料庫:政府研究資訊系統統計GRB,分析年份:1996-2016.08,關鍵字: Neuromorphic,並排除非相關研究。

台灣學術界目前具有仿神經型態晶片設計與創新的基礎,包含仿生電子嗅覺感測系統22、仿神經型態視覺晶片23,24、人工神經突觸材料25,26、神經元模擬於超大型積體電路27等。

國內專家看法

目前國際上仿神經型態晶片與計算為研究焦點,晶片架構百家爭鳴,例如Google TPU(Tensor Processing Unit)與Nvidia GPU,及在2016年主要國際會議(isscc, isca, dac)皆提出多種新型架構。新架構在能量消耗與運算能力上有大幅的改善。另一方面,可變電阻式記憶體RRAM(Resistive Random-Access Memory)可提供非傳統電腦0和1的運算值,亦是未來發展的方向之一。

若以未來產業發展角度而言,「仿神經型態晶片與計算」應較有立即之產業價值,並且是未來發展趨勢,人才培育及產業需求將可緊密結合,且國內產業也較有基礎,較可能承接學界之成果。對於台灣產業在機器學習、智慧計算的應用上具有相當大的助益,值得投入。

結論與建議

全球資通訊產業值約占世界總產值的7%28,未來主要動能將來自物聯網、大數據管理系統和新興智慧機器產業,包括智慧工廠、智慧城市、個人健康照護、零售業、無人物流、無人運輸、智慧家庭、智慧辦公室等29,預測2025年資通訊產值具有成長一倍潛力。人工智慧位於預測產值佔比最高的物聯網應用服務層,而人工智慧中的加速硬體,非雲端的仿神經網路晶片將有機會於將打造智慧機器的大腦,具有全球主流採用的潛力。

台灣IC產業產值約2兆2千6百億元30,僅次於美國,是我國極具競爭力的重點產業,並擁有完整的供應鏈,包含IC設計、IC製造、IC封裝與測試,具有發展人工智慧硬體的優勢,然而新興仿神經網路晶片與計算的投入較少。建議政府引導學界整合團隊投入仿神經網路晶片與計算相關的基礎與應用研究或下世代人工智慧運算硬體,並以發展具實際應用功能的整體系統為目標,長期投入和培養相關人才,具初步能量後推動產學合作,以因應未來新興人工智慧的產業需求。

參考文獻

  1. Douglas, Rodney, Misha Mahowald, and Carver Mead. "Neuromorphic analogue VLSI." Annual review of neuroscience 18 (1995): 255-281.
  2. Vanarse, Anup, Adam Osseiran, and Alexander Rassau. "A Review of Current Neuromorphic Approaches for Vision, Auditory, and Olfactory Sensors." Frontiers in neuroscience 10 (2016).
  3. Indiveri, Giacomo, et al. "Neuromorphic silicon neuron circuits." Frontiers in neuroscience 5 (2011): 73.
  4. Esmaeilzadeh, Hadi, et al. "Dark silicon and the end of multicore scaling." Computer Architecture (ISCA), 2011 38th Annual International Symposium on. IEEE, 2011.
  5. Waldrop, M. Mitchell. "The chips are down for Moore’s law." Nature News 530.7589 (2016): 144.
  6. Yang, J. Joshua, Dmitri B. Strukov, and Duncan R. Stewart. "Memristive devices for computing." Nature nanotechnology 8.1 (2013): 13-24.
  7. Merolla, Paul A., et al. "A million spiking-neuron integrated circuit with a scalable communication network and interface." Science 345.6197 (2014): 668-673.
  8. Garnter. "Predicts 2016: Smart Machines." available at http://www.gartner.com/document/3175120 accessed at [2016.09.13].
  9. Di Ventra, Massimiliano, and Yuriy V. Pershin. "The parallel approach." Nature Physics 9.4 (2013): 200-202.
  10. Available at http://www.darpa.mil/program/systems-of-neuromorphic-adaptive-plastic-scalable-electronics accessed at [2016.09.13].
  11. Available at https://www.iarpa.gov/index.php/research-programs/microns/microns-baa accessed at [2016.09.13].
  12. Available at http://facets.kip.uni-heidelberg.de/ accessed at [2016.09.13].
  13. Available at https://www.humanbrainproject.eu/sp9 accessed at [2016.09.13].
  14. Available at https://www.humanbrainproject.eu/sp10 accessed at [2016.09.13].
  15. Available at http://www.jst.go.jp/impact/en/program/12.html accessed at [2016.09.13].
  16. Mead, Carver. "Neuromorphic electronic systems." Proceedings of the IEEE 78.10 (1990): 1629-1636.
  17. 陈云霁. "体系结构研究者眼中的神经网络硬件."中國计算机通訊 11.7 (2015): 10-22.
  18. 顾宗华, and潘纲. "神经拟态的类脑计算研究. "中國计算机通訊 11.10 (2015): 10-20.
  19. 曾毅, 刘成林, and 谭铁牛. "类脑智能研究的回顾与展望." 计算机学报 39.1 (2016): 212-222.
  20. MarketsandMarkets. "Neuromorphic Chip Market by Application (Image recognition, Speech Recognition, Data Mining), End-User Industry (Aerospace, Defense & Military, Medical, Industrial, Automotive, Consumer, Other Industries), and Geography - Global Forecast & Analysis to 2016 – 2022." Available at http://www.rnrmarketresearch.com/neuromorphic-chip-market-by-application-image-recognition-speech-recognition-data-mining-end-user-industry-aerospace-defense-military-medical-industrial-automotive-consumer-other-industries-and-geography-global-forecast-analy-market-report.html#utm_source=whatech&utm_content=whatech.com/185321 accessed at [2016.9.13].
  21. Garnter. " Hype Cycle for Smart Machines, 2016. "Available at http://www.gartner.com/document/3380751 accessed at [2016.9.13].
  22. Hsieh, Hung-Yi, and Kea-Tiong Tang. "VLSI implementation of a bio-inspired olfactory spiking neural network." IEEE transactions on neural networks and learning systems 23.7 (2012): 1065-1073.
  23. Lin, Li-Ju, et al. "A neuromorphic chip that imitates the ON brisk transient ganglion cell set in the retinas of rabbits." IEEE Sensors Journal 7.9 (2007): 1248-1261.
  24. Chiang, C. T., and C. Y. Wu. "Implantable neuromorphic vision chips." Electronics Letters 40.6 (2004): 361-363.
  25. Zhang, Chaochao, et al. "Synaptic plasticity and learning behaviours in flexible artificial synapse based on polymer/viologen system." Journal of Materials Chemistry C 4.15 (2016): 3217-3223.
  26. Wang, Yu-Fen, et al. "Characterization and modeling of nonfilamentary Ta/TaOx/TiO2/Ti analog synaptic device." Scientific reports 5 (2015).
  27. Chen, Hsin, et al. "Real-time simulation of biologically realistic stochastic neurons in VLSI." IEEE Transactions on Neural Networks 21.9 (2010): 1511-1517.
  28. IBM Global Business Service. "The world’s 4 trillion dollar challenge." (2010), Available at https://www.ibm.com/ibm/files/Y067208R89372O94/11The_worlds_4_trillion_dollar_challenge-Executive_Report_1_3MB.pdf accessed at [2016.9.13].
  29. McKinsey Global Institute. "The Internet of things: Mapping the value beyond the hype." available at http://www.mckinsey.com/business-functions/business-technology/our-insights/the-internet-of-things-the-value-of-digitizing-the-physical-world accessed at [2016.9.13].
  30. 工研院IEK電子分項"2016半導體產業年鑑." available at http://www2.itis.org.tw/PubReport/PubReport_Detail.aspx?rpno=53053972&industry=1&ctgy=1&free= accessed at [2016.9.13].