# 融合RGBD攝影機與MARG感測器於動態與複雜環境下之移動式機器人操控
## 科技部整合型計畫(進行中 108/9 ~ 110/6)
手術機器人之智慧輔助控制系統研發 子計畫四
****
## 計畫目的
* 研發結合人工智慧與自動控制之手術機器人系統，著重手術機器人之智慧輔助控制與操作技術。
* 研發手術機器人之醫生操作系統，開發VR/AR技術與可視化人機介面，研究基於視覺之直覺式操作。
* 開發器械追蹤與姿態辨識技術，整合視覺伺服，研發機器人自主手術動作。
* 開發手術機器人分享控制架構，研究醫生介入機器人動作之操控系統，提升系統之安全性。
* 開發移動平台以及自動導航和定位技術，讓整套手術機器人系統能夠快速架設。

****
## 系統架構

****
## Abstract
配備機械手臂的移動式機器人是許多機器人技術新應用的關鍵。特別是機器人可以
更自由地提供輔助功能，以幫助人類完成各種實際操作行為。但是，通常應用的環
境會有移動物體和場景變化的高度動態性。其次是操控任務必須面對在混亂背景下
的目標識別和定位。雖然眾所周知的SLAM技術已經提供了一套方法，但是大多數
方法仍然在相對靜態的環境下工作。為此2D感測器如雷射掃描器其感之範圍與資
訊量已不足，有必要使用3D感測器。同時，依靠自然地標的方法，在強健性上仍
然是非常高的挑戰。因此，類似於室外GPS，精確的室內定位系統相形下變得很
重要。然而，目前使用無線電波（例如WLAN）的解決方案遭受多路徑傳導現象並
且需要許多基站來提高準確度。本計劃提出了一種室內動態環境的SLAM架構，融
合了創新的磁場定位技術和RGBD傳感器，以解決上述問題。我們將開發演算法以
使用MARG傳感器陣列來分離地球磁場信號和由各種其他人工源(如磁鐵)產生的信
號，並擷取磁場特徵最為定位依據。同時將探索與RGBD感測器融合的優勢，以應
對動態和雜亂的環境。

## 前言
       隨著近年來人類科技的不斷進步，以機器取代各種人力藉以提升生活品質與工作效率已成為科技進程中重要的發展重點，但大部分的成熟應用仍偏向定點式或限制在既定範圍，在非結構化和動態環境中部署自主式機器人並進行操控仍有許多挑戰，這些挑戰通常無法以高度受控環境的開發方法輕鬆解決。在非結構化環境中，機器人通常不具備，或是不能依賴有關其周圍環境的完整知識。因此，感知環境周圍資訊並適當地處理，藉以擴大機器人可執行的任務範圍，提升其對工作環境的適應性，成為自主式服務型機器人關鍵挑戰之一。機器人必須自主且持續地獲取支持決策所需的相關訊息。而且機器人不能假設它們的行為一定可靠且成功，相反的必須不斷監測環境對它們的影響，將不確定性納入考量，並能夠對非預期之事件做出相對應之反應。尤其在交通繁忙的區域，傳統機器人可能會與人發生碰撞，自主移動機器人必須能識別其他移動設備和人，並採取正確的措施降低發生碰撞的風險。然而許多現有的技術，仍依賴於對世界的完美認識和對環境和自身的完美控制，因此對自主式機器人的應用產生了極大的限制。
 
       其次，與非結構化環境高度相關的挑戰是高維度的狀態空間，以及將感知資訊映射到特定狀態時固有的不確定性。也就是說，當機器人離開高度受控且可預期的工廠環境並進入非結構化的一般環境時，最根本的挑戰就是狀態空間的高維度，必須能夠識別出任何影響自身任務規劃之物體，並做出適當的反應。

## 研究目的
       對於周遭環境的辨識與偵測一直都是機器人系統中很重要的一個議題，對於自主移動的機器人更是不可或缺的部分。簡單的環境偵測應用為單純避開機器人規劃路線上的障礙物，而進一步的環境偵測則是辨識出物體，並可以配合機器人做出主動的反應，像是與人之間的互動或是移動至特定位置取得目標物品，甚至可以對周圍物件進行追蹤。現今應用在機器人系上比較成熟的環境偵測方法有超音波偵測、紅外線偵測、雷達偵測，這些方法成本低但只都能用在簡單的避障與單點的距離偵測，對於周遭的障礙物只能處理有和沒有的區別，比較沒有辦法進行更複雜的應用。
 
       近年來由於光學雷達(lidar)技術的不斷進步，使的機器人能夠獲得夠準確的周遭環境資訊，對於移動式機器的建圖、定位、導航的能力提升有了顯著的幫助。然而相對於上述的其他感測器，雖然能夠取得更多更準確的資訊，但相對的其成本也比較高，尤其是三圍的光學雷達，其成本對於平面的自主移動式機器人是無法承受的。因此雖然獲得了更好的資訊，但在現實的環境應用中，只有對於二圍空間的了解絕對是不夠的，尤其在幾合結構相似的環境，如長廊等，容易造成感測器的誤判。
 
       RGBD相機可提供彩色以及深度圖像，可以擷取二維影像後利用影像處理的方法來辨識周遭環境，並結合深度影像，建構出三維的環境資訊，且其具有價格便宜、高幀頻的優點，因此對於自主式機器人是個極佳的輔助工具，對其克服高維度的環境能提供極大幫助。然而RGBD相機雖能提供三維資訊，但其欠缺準確度，且其容易受到光線明暗的影響，對於移動式機器人，難以提供穩定且正確的資訊。
 
       因此，藉由結合光達以及RGBD相機，由光達提供穩定的資訊，協助機器人自主定位，由RGBD相機提供高維的資訊，讓機器人能夠進一步了解周遭環境，互相彌補各自的缺點。此外，我們也將慣性測量單元(Inertial measurement unit ,IMU)加入我們的系統，以自身的加速度、角速度來完成丟失時刻的位置估計。我們目標以上述的系統達到固定成本下，機器人安全且穩定的自主定位導航。