# 資訊工業講座

---

# AI 自走車 & 機械手臂實作

---

## 講座資訊

元智大學電機工程學系 **鄭穎仁** 教授
2023 / 05 / 24
網頁組 第三組

---

## 教授經歷

* Fuzzy Control Systems
* Computer Vision
* Robotics
* Deep Learning
* Intelligent Systems
* System Integration
* Air Conditioning Systems

---

## 自走車簡介

* Automated Guided Vehicle ( AGV )
* 根據地版的標記移動或轉向
* Autonomous Mobile Robot ( AMR )
* 具有定位和光感裝置

---

## Robot Operating System ( ROS )

* A set of software libraries and tools that help you build robot.
* All open source.

---

## Simultaneous Localization And Mapping ( SLAM )

* 2D SLAM
* 3D SLAM

---

## Map Construction

1. Kinect2 gets data.
2. ORB-Slam2 gets pointcloud after calculating.
* ORB-Slam 2 to RVIZ.
3. ROS-Rviz (3D map).
* 3D Map to 2D Map.
4. ROS-Rviz (2D map).

---

## 自走車主體

* 自走車底座
* 機器人移動
* Lidar A1M8
* 地圖掃描
* 障礙物偵測
* 導航
* Robotic arm
* 貨物夾取
* Astra camera
* QR code 辨識
* 取貨位置校準

---

## Implementation of Automatic Tracking

* UWB Ranging
* two-way ranging
* ONE TO ONE DISTANCE MEASUREMENT WITHOUT OBSTACLE
* UWB Positioning
* Obstacle Avoidance Tracking
* Artificial Potential Field Method ( Positive & Negative )

---

## Robotic Arm

* Perform the tasks which the humans find them dangerous, boring or difficult.
* Do the work with constant speed & high degree of accuracy and continue & finish the work without feeling sick.
* Can be programmed to perform a simple task and repeat that task more times.

---

## Computer Vision

* Computer vision is a field that includes methods for acquiring, processing, analyzing, and understanding images.
* Color Space Transformation
* RGB -> HSV
* Catching Position Prediction.

---

## System Structure

* Kinect Frame Mapping
* Object Detection
* Image Segmentation
* Grasp Detection and Rescoring
* Normal Vector Calculation
* Coordinate Transformation
* Arm Fetching Vector

---

## 各組講座心得

:::info
第一組

鍾佳諭：這次的演講主題是關於AI自走車及機械手臂的介紹，講師詳細介紹了一些操作的原理和作法，讓對ROS領域不太熟悉的我，有了進一步的了解。

陳冠吾：這次的演講者對於ROS有深度的了解，不僅簡單介紹動機和最終目標，還詳細解說自走車和機械手臂的原理和做法，並展示了成果影片。這次的演講對我們未來的專題報告也有啟發作用，希望能以這次的演講為模範，深入理解專題內容並完整報告。從演講中我們學到了如何訓練機械手臂、它的優缺點，以及將技術結合的應用。這次演講讓我們看到了技術結合的可能性，並使我們的生活更加方便。

李俐瑩：今天的講座是關於AI自走車和機械手臂，聽完今天的演講讓我對ROS 有了更深的理解，講師也和我們介紹了不同種類間的差異，讓我們對這個領域有了更多了解。

連翊安：今天的講師提到了很多硬體相關的應用，並且也介紹了他所帶的專題生做的東西。以前沒怎麼深入了解硬體相關的內容，透過這次的演講，我覺得我對硬體方面又有了更多的認知，或許可以應用在自己的專題上。

徐翊華：這次的演講者十分了解ROS系統，並且簡單介紹了動機和最終目標，詳細向我們解說自走車和機械手臂的原理和做法，也展示了他在這個領域的成果影片，這其實也像先前學長姐的專題內容，只是這次是由教授更加仔細地說明。讓我更加了解了這部分的知識。
:::
:::success
第二組

今天的演講是有關於AI自走車以及機械手臂相關的主題，鄭穎仁講師在此領域中曾獲得多項獎項，也帶領學生參加競賽，更是指導了許多產學合作的項目。聽完今天的演講有讓我更加了解有關ROS領域的相關知識，雖然我的專題並不是屬於ROS領域的，但身為資工系的學生對於這些基礎的硬體應用應該要有一些基礎的認知，也感謝講師今天帶來的演講，讓我了解自走車的傳感器系統及環境建模，能夠結合各種演算法以及數據資料處理的技術及增強，使自走車對於地形的探測及感知能夠更加精確；也讓我了解到機械手臂的相關知識以及應用，也客觀的論述了機械手臂的優劣之處。我認為無論是自走車或是機械手臂都是現今硬體科技發展的方向之一，兩者在現實生活中都能有非常多可用之處，也許有一天機械手臂能夠替醫生完成一些精密的手術，雖然路途還很遙遠，但科技發展的進度總是超乎人們的預期，期待有一天自走車和機械手臂能夠在日常生活中普及。
:::
:::info
第三組

這一周的講師主要是在介紹他之前有關於自走車以及機械手臂的部分，講師介紹了特別多我們平常較少接觸到的硬體的設備和相關的技術，讓我們有開拓新的眼光的感受，在很多更技術也有更詳細的介紹，像是也是這一次的介紹我們才知道自走車其實有細分AGV和AMR的行走方式和細節上的不同，而因為我們平常對於這一區塊練習的較少，可能只有大一的嵌入式系統實驗有接觸過像是ROS的環境，但是也沒有到很深入的學習，看到講師有很多專題的展示，都是包括機器學習以及自走車與機械手臂等等硬體，這都是非常新鮮的，尤其是加上電腦視覺的AI，例如YOLOV3或是物體抓取點的辨識，讓整個專題的自動化程度上升，然後一步步修改以及增加系統去增強自動化的可靠度，讓我們都非常佩服。
:::
:::success
第四組

楊舒怡：這次的演講者對於ROS有深度的了解，除了簡單介紹動機和最終目標，並詳細向我們解說自走車和機械手臂的原理和做法，也展示了成果影片，這其實也蠻像我們未來專題報告時要報告的流程和內容，希望能以這次的演講為模範，深度理解自己的專題內容並完整的報告。

楊蕙嬬：今天是ROS、機械手臂和AI相關的講座，講師除了解釋一些自走車的原理和應用以外,還有提到機械手臂，一些基本的操作，甚至有影像辨識的軟體，分析怎麼影像辨識會怎麼樣去處理，抓取點、法相量等等，還有解釋深度學習，最後說這些彼此怎麼做結合，可以在科技上有什麼應用，讓我知道這些硬體可以怎麼應用。

蒲品憶：今天演講我知道了AGV和AMR的不同，還有在做自走車研究的時候應該是如何製作規劃路線圖，以及機械手臂的其中幾個專題實驗研究，是如何一步一步將專題製作的更加完備，我覺得今天的演講對現在製作專題的我有一定的幫助。

陽彩柔：透過今天的演講讓我了解到現今機械手臂的運用地方以及搭配ROS並幫助生活的方式，透過解說也了解到如何訓練機械手臂以及他的優缺點，現今有非常多的技術，但要如何活用並讓作品有可用之處是可以思考的，今天的演講讓我了解到許多的技術結合可以產生新火花，並使我們的生活更加方便。

陳宥蓁：今天講師提到了很多他帶的專題生們做出來的作品，也提到了一些自走車的相關知識，我覺得受益良多，因為我們目前專題的方向也會跟自走車有關聯，透過聽完今天講師的分享之後，我又再更加了解的實作方面的一些細節，對於我的專題實作有一定程度的幫助！

張郁琪：這次的講座主講的主題是和ROS 相關的，其實我對於ROS沒有到非常的了解，畢竟只有大一的時候有大概學過而已，但透過這場講座讓我覺得我對ROS有了更多的了解，也學習到了很多大一沒教過的東西，讓我覺得滿有趣的。
:::
:::info
第五組

林柏辰: AI自走車的應用在高中所參與過的講座已說明過很多遍，但透過這次講師的講解內容讓我真正認識到實作方面的細節，以及如何透過片段式遞迴來處理問題。

吳彥寬: 聽完本週的課程，對自走車和機械手臂的實作有了更實際的概念，其中也了解到2D和3DSLAM在自走車應用上會遇到的問題，受益良多。

林圻恩: 之前在大一的嵌入式系統實驗有碰過一些最基本的ROS系統操作，但是之後就沒有去更深入地去了解這個系統以及AI自走車，在這次的講座經過講員的講解之後才能進一步去認識到更深入的部分，不只是實際操作的細節甚至連可能會遇到的問題都有，不僅讓我印象深刻也同時讓我收穫滿滿。

康　旭: 這次的講員講述了關於自走車的相關實作，我了解到自走車的運作以及實作上會遇到的問題，這些都是我不曾接觸過的。我也學習到很多ROS 的專業知識。

魏宇奐: 曾經在系上課程中初步摸索過ROS系統，但對它並不太了解，透過這次講座，比較深入的了解了ROS系統的應用，以及其他機器人的相關觀念。

劉又誠: 自走車分成2D和3D建立地圖環境，2D速度較快但會有長廊效應，當周圍都是直的會繪製不出地圖來，而三D的缺點是花的時間久且誤差值較大。
:::
:::success
第六組

在今天的講座中，講師詳細解說了他在AI自走車和機械手臂等相關領域的研究和實務經驗。這次的講座對於我對自走車技術的理解提供了很大的幫助，特別是關於2D雷達和3D探測器建模的部分。

在過去，我曾參觀過學長姐的專題展覽，當時也看到了很多關於自走車的主題。然而，直到今天的講座，我才真正理解了這些自走車背後的原理。

講師詳細介紹了2D雷達技術和3D探測器建模技術。
前者通過發射射頻信號來檢測周圍環境。藉此感知障礙物的距離和位置，從而進行適當的反應。這種技術在自動駕駛和環境感知中起著重要的作用。
後者使用複雜的傳感器系統，例如激光雷達或深度相機，來獲取周圍環境的三維模型。再將這些數據轉換為點雲或網格表示。使自走車可以更詳細地理解和感知周圍環境的形狀和結構。

這次講座讓我在技術方面，深刻意識到在自走車領域中，感知技術的重要性。

而在實務上，講師分享了他的經驗，並也提醒了我，除了理論知識外，實際操作和解決問題的能力也至關重要。

總之，今天的講座讓我對自走車技術有了更深入的理解。感謝講師的詳細解說和分享，這對我的學習和職業發展將有所助益。
:::
:::info
第七組

劉珈彤:本次講座的主題算是一個很有發展性及未來性的主題，在開頭的影片與後續的介紹中也都介紹了我一般不會去搜尋的目前發展結果，雖然我也有在接觸相關的東西，不過還是能被驚艷到。

邱家祐:這次的講師在講ai 自走車跟機器手臂的實作，講到自走車就讓我想到上學期有上過有關自走車的課程，所以講師在講某些功能實作時，腦中都有一些想法，而確實做法是差不多的，像是用slam來幫助建立地圖。在機器手臂的實作部分，基本上在講解有關影像辨識的部分，利用影像辨識來讓機器手臂能夠精準的抓取物品，也有提到yoro跟opencv等。

姜柏仰:這次講員分享了AI自走車與機械手臂，因為自己也有碰到所以聽了感觸很深，也發現了一些自己在實作上的小問題，受益良多

劉丞曜:這次講員講解了有關ai自走車及機械手臂的實作。先讓我們了解了自走車的分類可以分為AGB 及AMR。之後大略的講述了有關ROS作業系統的相關知識，銜接到Rviz可視化圖像介面及SLAM導航及建圖。接下來說了手臂的部分，分成電腦視覺，ai,模仿手部動作等等，之後也解說了機械手臂如何結合攝影機做影像處理。講師一整套講解非常流暢，我很喜歡

林傳堯:這次的演講內容很豐富，有很多專題的實作，學到了很多東西，吸取更多的經驗，也讓我對專題有更多的想法，這場演講真的收穫滿滿，對未來想做的東西也更有興趣。
:::
:::success
第八組

張善泓：我在進行專題製作的時候也會使用到一些今天講師有分享的工具，知道這一項工具和能夠對其實用實際上的運用其實是有非常大的差距的，講師今天提出來的應用都相當有意思，不過關還是需要實際行動才可以明白其中的實情，才可以轉換成有用的經驗。

范育瑋：經過這次的演講，讓我充分的吸收AI控制機器人的方式之間的區別。同時也聽到熟悉的機器人系統簡稱"ROS"。彷彿回到大一上嵌入式系統的時光。

陳威綸：這次講師講的關於自走車的運用，還有機械手臂的應用，甚至是影像辨識的應用，裡面也有我們專題用到的介面，原來機械手臂可以這麼靈活，真的讓我們受益良多。

鄧樂心：今天講師分享了他們對於自走車的研究和應用技巧，當中用到的影像辨識的工具在我們組的專題中也有用到，能夠看到實際應用的狀況和挑戰，作為之後做專題的參考。

莊士毅：今天講師介紹AI自走車和機器手臂，前面自走車的部分因為有和同學閒聊過，所以聽得比較懂，後面機械手臂的部分，因為沒接觸過，所以大概聽得懂一半而已，總之，經過這次的演說，我對於AI自走車和機械手臂有了更加的認識，未來兩者的應用應該會越來越廣。
:::
:::info
第十組

在這次演講中，我有幸聆聽到講師關於AI自走車和機械手臂的專題演講。這場演講讓我對於這些領域有了更深入的了解，並且開拓了我的思維。

講師是在這些領域中的專家，他的經驗和研究成果令人印象深刻。他分享了他在AI自走車和機械手臂方面的研究和實務經驗，並指導了許多學生參加相關的競賽和產學合作項目。這樣的實踐經驗不僅豐富了他個人的專業知識，也為學生們提供了寶貴的學習機會。

在演講中，我對於ROS領域的相關知識有了更深入的認識。講師詳細介紹了自走車的傳感器系統和環境建模，以及機械手臂的應用和優劣之處。這些知識讓我深入思考了自走車和機械手臂在現實生活中的應用價值。

自走車和機械手臂是當今硬體科技發展的熱點領域之一。兩者都具有廣泛的應用前景，無論是在工業自動化還是日常生活中，它們都能帶來巨大的便利。我們可以想像，未來機械手臂可能能夠在醫療領域進行精密手術，或是在工廠中承擔重複性工作的角色，提高生產效率。而自走車則有望實現無人駕駛技術，改變交通運輸方式，減少交通事故和擁塞。
:::
:::success
第十一組

今天演講主題是AI自走車的主題，鄭穎仁講師在這個領域獲得許多成就，首先講師介紹了他在AI自走車和機械手臂等領域的相關研究與實務經驗，這次演講有讓我更了解自走車技術，其他2D雷達和3D探測器建模讓我印象深刻。

老師一開始先介紹了AMR、AGV、ROS等等，AMR簡單來說就是不用軌道也可運行的自走車，而AGV則需要軌道輔助，另外也提到在過去講師帶領學生研究的經驗當中多用ROS開發，雖然我的專題並不是做機器人或是自走車相關的，但是對於自駕技術還是很好奇，這次演講有讓我更了解自走車技術背後許多複雜的技術，例如有的透過發射信號來檢測周圍環境，感知障礙物的距離和位置，有的則利用雷達或相機等作為傳感器來感知環境建立模型。這次演講也讓我ˋ了解一些機械手臂的應用場景，雖然不知道這些技術何時會廣泛應用於日常生活，但我認為這些技術很快就能給人類帶來許多便利，例如機械手臂可以幫助醫生完成遠端或一些精密的手術等等。
:::
:::info
第十二組

鄭穎仁講師為我們帶來了AI自走車與機械手臂的介紹，這兩項技術都運用了影像辨識的功能，而我們這組的專題題目正好和影像辨識相關，可以說這次的講座對我的幫助是相當的多。

首先，AI自走車的發展對交通領域產生了深遠的影響。透過搭載了人工智慧技術的自走車，我們可以期望更高的交通安全性、更高效的交通流動以及更少的交通堵塞。自走車能夠感知周圍環境、預測其他車輛和行人的動向，從而做出即時的決策。這種自主導航的能力不僅能夠減少人為的操作失誤，還能夠提高整體的交通效率，為城市交通帶來了新的可能性。

另一方面，機械手臂的應用也是引人注目的。機械手臂通過模仿人類的手臂結構和運動方式，實現了高精度和高靈活性的操作。這種技術在製造業、醫療領域和倉儲物流等多個領域都有廣泛的應用。機械手臂可以承擔繁重、危險或精細的工作任務，大大提高了生產效率和工作安全性。

然而，我們也必須正視AI自走車和機械手臂所面臨的挑戰和風險。隨著這些技術的普及，我們需要確保它們的安全性和可靠性，這才是關鍵的所在。
:::
:::success
第十三組

10927260 劉宗諺
這次演講的內容與機器學習、深度學習非常有關係。在未來的趨勢上這個能力也可以說是必備的，教授詳細地介紹他們的專題和實驗成果，也詳細地介紹相關的原理和使用到的相關設備。我自己的專題也是選擇與ROS相關的，所以教授的內容對我們這一組來說是非常有幫助的，

10927262 呂易鴻
這次的講師主要在說明他們ROS的專題，展示AI自走車與機械手臂。我的專題研究也與ROS相關，是在ROS2上進行漏洞檢測，所以多少有點好奇。當然除了機器人相關的知識以外，最讓我感到意外的是講師研究所裡的配置。總價值百萬以上的設備群，令人驚嘆。當然我自己也沒有接觸過相關的事務，所以也不知道行情。不過我想應該中原的研究室經費也不會少吧。
:::

---

## Q & A

:::warning
第12組
Q : 影響辨識最困難的部分是什麼?
A : 要有適合的data set 是最困難的地方 要有夠多的data set 去做yolo是最好的
:::
:::danger
Q : 實驗室的東西好不好
A : 其實經費很充足裡面東西都很好
:::
:::warning
Q : 3D穴位技術可不可行
A : 不可行因為穴位很有可能有誤差插錯就完了
:::

---

## 講座照片









---

## 簡報連結

> https://drive.google.com/drive/folders/17xc6S_dlIyVQwsdI3yIuXNLAQ3FksEci?usp=sharing

---