協作機器手臂運動軌跡規劃專利佈局—以Fanuc為例
人與機器人協作是未來產業自動化的趨勢,智慧自動化不再只是機器運作,而是逐漸轉向人機協作,特別是在電子零件組裝、3C製造業等複雜度高的產線。互動式的協作機器人可以簡化生產線的設計和機器人的編程,提供與人類一起工作有效、安全,並且準確及高速地執行單調和重複的任務。隨著人工智慧的發展及導入,本文以Fanuc機器手臂之運動軌跡規劃專利佈局為例,分析發現對醫療機器人產業發展具有重要的經濟價值。同時比較台灣專利落點,冀望能提供政府未來資源投入研發之參考。
著作權聲明: CC0 Public Domain-可以做商業用途-不要求署名
一、協作式機器人
現今工業應用的機器手臂控制已經達到很好的成熟水平,舉凡拾放操作、焊接、加工及塗漆等皆提出了許多解決方案。然而,這些應用都局限於沒有人機互動發生的結構化和安全空間,隨著工業服務領域的需求增加,機器手臂與人類一起工作的場景(共享工作空間)機會會逐漸增加,將面臨編程以及用於分離人類和機器人安全防護成本增加的難題。互動式的協作機器人可以簡化生產線的設計和機器人的編程,提供與人類一起工作有效、安全,並且準確及高速地執行單調和重複的任務(Lasota & Shah, 2015)。
一般機器人運動有兩個重要方法為學習(learning)和動作規劃(motion planning)(Zhao, 2015)。學習是使用不同的技術來記錄人類演示的動作或技能,從這些數據中規劃動作軌跡並且學習,例如:強化學習(reinforcement Learning)和示範學習,運用機器的知識見解,提高學習效率來改進任務的執行。然而,學習方法在動態環境中無法有效即時地將產生的軌跡適應於前後環境,例如:抓住移動物體或避開障礙物等;另一種方法是動作規劃,大多數動作規劃人員用路徑定義動作,然後機器人追蹤著動作,但機器人控制器無法高效精確地追蹤其中大部分路徑。因此,更好的方法是使用軌跡更精確地定義動作,軌跡將位置定義為時間的函數。
機器手臂控制器若能提供在動作規劃器(motion planner)和低階控制器間引入一個中階控制時,當任務改變,例如:由於人類的存在,就可以規劃新的軌跡。在這種情況下,來自控制器描述其狀態的回饋和描述未來狀態的軌跡會有助於適應在下一個計劃循環結束時,規劃的軌跡送達到機器人的預測狀態。
機器手臂的動作規劃通常是離線進行,特別是當軌跡生成過程時運算相當昂貴。為了自主地和反應性地執行各種任務,必須提供一種靈活的軌跡控制器,可以在線上即時生成和控制軌跡,即時反應對環境的變化,同時機器人需要保證人身安全和沒有碰撞。因此,軌跡模型必須允許不同部件,包括:路徑規劃器(path planner)、軌跡生成器(trajectory generator)及碰撞檢查器和控制器之間的快速運算和簡單的通訊聯結。
二、人機互動之軟體控制架構
工業領域的應用,例如:飛機和汽車的最終組裝仍然大部分是手動操作,因為許多任務都需要一定的判斷力(judgment)、靈活性(dexterity)和彈性的決策能力,已經超越了當前工業機器人的能力。然而,這些領域中還有很多可由機器手臂執行非增值性任務來提高生產率和效率。
人機互動的協作機器人必須同時執行多項任務,第一步就是允許機器人在共享工作區(shared workspace)中導航,這需要開發專門的路徑規劃算法和框架設計的人工智慧元素,以管理各種訊息來源並完成不同等級的任務(Zhao, 2015)。圖1所示為互動機器人操控的軟件體系結構:圖中人員在週遭時的機器動作(motion in human presence, MHP)框架含有抓取規劃器(grasp planner)、路徑規劃器及軌跡規劃器(trajectory planner);空間推理與知識(spatial reasoning and knowledge, SPARK) 框架則維持整個環境的3D模型,包括:物件、機器人及人員的姿勢和位置,並且提供相關幾何推理,例如:評估機器人部件之間以及機器人與其環境之間的碰撞風險等;MHP框架之軌跡規劃器則輸出路徑為時間函數的動作軌跡(Tm)。當任務規劃器定義新任務或監督者決定需要新的軌跡以對環境變化作出反應時,MHP就會計算新的軌跡,同時軌跡控制器會將關節的控制信號傳送至機器手臂的馬達控制器,並且在執行過程中將控制器的狀態回傳給任務規劃器或監督者。
三、路徑與軌跡之規劃
軌跡規劃是指機器手部操縱器(含手臂及末端執行器)在運動期間,其於空間(關節空間或笛卡兒空間)中所行進的路徑與方位。路徑是指從空間中一點移動至另一點的任意曲線,軌跡除了考慮二點之外,還需要考慮移動過程中關節位置、速度、加速度和抖動(jerk)。軌跡之產生,除了必須提供終點位置、速度及加速度外,通常還需要預先規劃路徑決定的各途經點(waypoints),避免手臂移動時超出工作空間容許範圍。軌跡規劃是希望求得路徑中最佳的軌跡,必須避免障礙物和碰撞,因此需要對路徑進行全局(globally)性的規劃,其中路徑遍歷(path traversal)時間(或周期時間)是最重要的路徑規劃因素,其會影響到生產的成本效益問題。除了提供手部操縱器從初始到最終姿態的功能外,路徑規劃和軌跡生成必須按順序考慮不能違反關節驅動器的機械極限,不會激發致動器機械結構的共振等,其探索的方法是提供解決機器人實際任務的平滑軌跡。
目前可以使用虛擬機器人專用軟體或教學編程來規劃機器人的路徑或軌跡,但需要花費大量時間。在這種情況下,使用訊息源的自動路徑規劃會是最佳的解決方案,訊息源可從知識或感測器而來(http://www.ene.ttu.ee)。以知識為主的路徑規劃是使用以往所知的環境知識,知識可能來自視頻系統、工程規範或CAD程序之建模結果(如圖1中SPARK 框架);感測器為主的路徑規劃則是用於隨著時間變化的未知環境,透過收集有關前一軌跡結果的訊息(來自感測器的回饋),隨後的知識即可用於查找路徑中的下一個軌跡,甚至可用於在探索環境時嚴格按照隨機意義引導機器人。信息源的最佳控制策略為分層路徑規劃(hierarchical path planning),使用高階先前的知識規劃器生成粗略路徑,然後在執行路徑時使用低階的感測器規劃器,如此將可使程控規劃人員能夠處理複雜的意外情況。比較知識和感測器的路徑規劃方法如圖2所示(http://www.ene.ttu.ee):
使用知識為主的路徑規劃,確定在路徑尋找期間必須經過路徑的特徵點。如果障礙物出現在機器人附近,並且避免與障礙物碰撞,則感測器訊息可用於糾正動作。
四、Fanuc專利佈局
本研究以Fanuc所有美國申請專利,搭配CPC分類碼(B25J9/1664及B25J9/1666)進行運動、路徑及軌跡規劃之專利篩選,經過去除重複及專利家族後,現有美國專利申請數為53件。53件申請專利經過人工閱讀後進行技術分類及統計分析如圖3所示:從圖中可看出以示教操作移動路徑之專利申請最多,其次是感測器或視覺控制配置、工件安裝及操作模式之專利。值得注意的是,Fanuc擁有3件機器學習控制之專利申請。
(一)技術功效分析
以圖3所示之技術分類進行編號(如表1所示),經過人工閱讀53件申請專利之功效後進行分類及編號如表2所示。本研究進一步進行技術功效分析如圖4所示:從圖中可看出專利申請最多的是示教操作移動路徑(T-1),主要功效在避免周邊干擾或外圍設備損壞(F-3);其次是感測器或視覺控制配置(T-6),主要功效在提高操作及同步修正之效率(F-1)。另外,Fanuc在機器學習控制(T-7)之專利申請,主要功效在提高操作及同步修正之效率(F-1)及避免周邊干擾或外圍設備損壞(F-3),尚無減少校正示教點程序及操作運算負擔(F-5)及縮短操作工時或周期時間(F-7)之專利申請。
表1 Fanuc運動路徑/軌跡規劃專利技術分類
技術分類 |
技術編號 |
示教操作移動路徑 |
T-1 |
工件安裝及操作模式 |
T-2 |
示教點或懸垂程序 |
T-3 |
減小或停止速度及確定或限制速度 |
T-4 |
機器手操作 |
T-5 |
感測器或視覺控制配置 |
T-6 |
機器學習控制 |
T-7 |
輸送裝置 |
T-8 |
其他 |
T-9 |
表2Fanuc運動路徑/軌跡規劃專利功效分類
功效分類 |
功效編號 |
提高操作及同步修正之效率 |
F-1 |
檢查手臂碰撞之操縱簡單 |
F-2 |
避免周邊干擾或外圍設備損壞 |
F-3 |
準確性及模擬校準高提升加工品質或提高容差性 |
F-4 |
減少校正示教點程序及操作運算負擔 |
F-5 |
環境控制、偵測、仿真措施 |
F-6 |
縮短操作工時或周期時間 |
F-7 |
降低製造成本 |
F-8 |
其他 |
F-9 |
(二)專利引證分析
專利引證分析可以衡量知識的流動或溢流(spillover)、衡量專利品質及公司的策略行為。後引證(backward citation)可估計從特定發明到機構、地區等所散發出之知識擴散;前引證(forward citation)則可用於評估發明的技術影響,例如跨領域或地域影響,代表著是專利的經濟重要性(OECD, 2009)。本研究分析53件Fanuc之專利引證分析如圖5所示:從圖中可看出前4大機器人家族的引證數皆超過20件以上,其中KUKA之引證數27件最高(前/後引證各為20及7),其次為ABB引證數22件(前/後引證各為17及5),YASKAWA之引證數20件(前/後引證各為11及9)。值得注意的是Intuitive surgical之引證數(只有前引證)25件,此公司最著名的產品是達文西外科手術之機械手臂系統,可看出Fanuc運動路徑/軌跡規劃之專利技術在跨領域醫療機器手臂應用價值的重要性。
五、台灣專利落點分析
目前台灣在美國申請有關運動路徑/軌跡規劃相關之專利僅有9件,此9件申請專利之書目資料及技術、功效分析如表3所示:從表中可看出9件申請專利中一半以上是鴻海所有(5件),其中有1件是運送控制模塊之技術,可避免使用附加感測器,精確獲得路徑示教和成本下降;另1件是運動控制模塊之技術,可在最短移動路徑或最短時間完成任務。另外,微星科技擁有1件路徑編輯模塊之技術,可簡化路徑以循環方式移動,減小橫動路徑記錄的數據量。學術界方面,僅有交通大學申請1件遙控機器人移動裝置的方法,但並無路徑規劃或軌跡生成之程控技術。
表3 台灣運動路徑/軌跡規劃相關申請之美國專利
專利號碼/申請號 |
專利名稱 |
申請年 |
專利權人 |
技術特徵 |
功效說明 |
US20170197309 |
Robot control system and method |
2016 |
鴻海 |
調整抓取位置 |
調整緊固工具到導向工具的位置,確定手臂位置 |
US20120185200 |
Electronic device and method of optimizing measurement paths |
2011 |
鴻海 |
存儲介質 |
排序最佳測量路徑,節省時間 |
US20100217442 |
Device and method for controlling multiaxial joint unit |
2009 |
微星科技 |
路徑編輯模塊 |
基於轉折點創建簡化路徑,以循環方式移動,減小橫動路徑記錄的數據量 |
US9073212 |
Apparatus and method for testing printed circuit board |
2014 |
鴻海 |
運送控制模塊 |
避免使用附加感測器,精確獲得路徑示教和成本下降 |
US20170312917 |
Method and device for robotic direct lead-through teaching |
2016 |
工研院 |
直接導入示教方法 |
避免使用附加感測器,精確獲得路徑示教和成本下降 |
US20160184990 |
Robot and control method thereof |
2015 |
交通大學 |
遙控裝置方法 |
改善機器人運動,提高工作效率。 |
US9545723 |
Robotic arm and display device using the same |
2015 |
鴻海 |
顯示裝置 |
縮短用戶與顯示裝置之間的距離 |
US20180141213 |
Anti-collision system and anti-collision method |
2017 |
資策會 |
防撞系統 |
防止與物件碰撞/伺服電機發生故障 |
US20180043536 |
Intelligent motion control system and method |
2016 |
富士康(鴻海) |
運動控制模塊 |
最短移動路徑或最短時間完成任務 |
六、結論及建議
人類-機器人互動的軟件體系結構之軌跡控制器,不僅可接受由路徑規劃器所產生的任何軌跡,也可以逼近任何類型的軌跡,並且擴大機器人可以遵循的路徑類型,這使得機器人能夠勝任更複雜的任務。軌跡控制器控制方法的評估標準取決於訊息源傳遞的路徑規劃策略(如:分層)、路徑規劃的演算法(如:快速探索隨機樹,RRT)、線上路徑規劃或軌跡生成、哪些為最小成本(如:最短路徑)及考慮哪些限制(如:障礙物或機械極限)等,最後則是使用解決方案的類型(如:關節空間、笛卡兒空間、直線、旋轉途經點、使用樣條曲線等)。
目前大多數工業用先進機器人的控制器都支援在操作或關節坐標系中對機器人進行編程的功能,也支援連續路徑操作,在指定的運動之間不需要停止,這些能力是由軌跡生成器在機器人控制器中實現(Tondu & EI-Zorkany, 1986)。現今機器手臂廠商只提供初階的運動軌跡規劃功能,主要是依據使用者鍵入的座標進行「內插」和規劃,讓局部的運動速度比較順暢。然而,整體的軌跡規劃功能仍是要倚賴人工進行,相當繁瑣。從台灣之專利布局來看,鴻海及微星科技都是以模塊化方式提供路徑示教/編輯/最短移動路徑完成任務之技術。
Fanuc在運動路徑/軌跡規劃的專利分析,可發現其示教操作移動路徑、示教點或懸垂程序及感測器或視覺控制配置之技術布局,能夠減少校正示教點程序及操作運算負擔之功效。另外,從人工智慧(AI)應用方面,Fanuc在機器學習控制之專利申請僅有3件,尚無縮短操作工時或周期時間之專利功效。從專利引證分析來看,運動路徑/軌跡規劃之專利對醫療機器人產業的發展潛力具有重要的經濟價值性,因此值得台灣在此方面投入研發進行專利佈局。