---
tags: 活動共筆
---

# 20210715 伴伴學 x OmniXRI：Jack 陪你聊機器視覺應用

應用情境 零件太小、大量
機器視覺架構4面向：鏡頭、軟體、光源、相機
相機：感測器（線、面、深度）、波長（可見、不可見）
鏡頭：魚眼（便宜；失真）
光：可能一盞燈很貴

AI v.s. CV
AI：機器學習(Machine Learning)、深度學習(Deep Learning)
硬體、軟體、大數據、領域知識
CV:電腦圖學(Computer Graphic,CG)、影像處理(Image Processing, IP)、電腦視覺(Computer Vision)
眼睛等級:
色彩轉換、調整
影像增強、退化
形態學運算、幾何變換

表示等級:
維繪圖、視點轉換
即時渲染(Render)
物理碰撞

思考等級:
特徵提取、影像分割
物件辨識、物件追蹤
動作辨別、深度估測

MV與AOI常見應用

影像強化:亮度、對比、型態學等
特微提取:邊緣、色塊等

瑕疵檢測:凹洞、刮痕、髒污、破損等
影像量測:點、線、角度; 直徑、面積等
區塊分析:面積、形心、主軸等
圖樣比對:圖案位置、旋轉計算等

golden sample(黃金樣板)
幾何比對：外觀、輪廓
字元辨識：OCR、符號
畸變校正：鏡頭失真
影像拼接：影像矯正、拼接融合
幾何分析:點線矩形無向性分析
紋理分析:紋理比對、分類等（整捲布找出勾紗、髒污）

google plan 讓電腦認識貓（一百萬張照片）
Lena很老了 ( 萊娜圖是指刊於1972年11月號《花花公子》雜誌上的一張裸體插圖相片的一部分，是一張大小為512x512像素的標準測試圖像。)
顯卡作矩陣乘加
CPU只作A*B+C
GPU專作矩陣運算，可一次作多筆 乘加運算
data driven

智慧行銷、智慧家庭、智慧醫療、智慧製造、智慧零售、智慧建築、智慧農業、智慧城市、智慧交通、智慧教育、智慧金融、智慧生活

視學、自然語言、大數據分析

醫生即將失業， AI 取代醫生

健康檢查的數據分析，請最資深的醫生作

CNC、放電加工機，都寫成程式

AI 可取代 重復性的勞力、重複性智力

分類、定位、語義分割（數多少個人或動物，把邊界切出來）、實例分割（分析每個像素屬於哪個物件）、OCR（扭曲、光照，傳統機器視覺難達成）、超解析度（換臉....）、姿態估測（2D偵測瑜伽，做成假3D(2.5D))、

電腦視覺常見應用領域

影像分類 (Image Classification)
物件定位語義分割 (Object Localization)
語義分割 (Semantic Segmentation)
實例分割 (Instance Segmentation)
文字偵測/辨識 (Text Detection / Recognition)
超解析度(放大) (Super Resolution)
姿態估測 (Pose Estimation)
人臉/特徵點偵測 (Facial Landmarks Detection)

工業界最常使用的： 表面瑕疵檢測

點：凸點、凹點、破孔
線：刮痕、摺痕、裂縫 (磁磚、餅乾 表面檢測)
面：摩擦 、污染、缺件 （PCB）

縮小框格

MV AOI vs. AI CV 主要比較
項目 傳統機器視覺 人工智慧電腦視覺
取像環境要求 須精準控制光源、位置 不特別要求
分析方式 條件式、啟發式(專家規畫) 深度學式模型(資料驅動)
資料集/計算量 少量/中等 巨量/極巨量
精密尺寸量測 OK NG
檢測條件模糊 過殺率過高 較穩定檢出
開發/佈署成本 高/中高 中等/極高

早上太陽在左手邊、下午在右手邊就會不準

傳統機器視覺 資料量少
人工智慧 資料量大、無法做很精準
適合檢測 OVER-Kill

AI訓練需要很多$：高檔顯卡、PC、好的AI工程師

2048或4096投影機
中高解析度攝影機
0.01mm 雷射測距

開發免費工具：
.入工智慧電腦視覺開發工具
·資料集標註工具
·模型建置框架
·影像前處理工具 -> openCV
.模型訓練工具
·模型推論工具 -> OpenVINO
·影像後處理工具 -> openCV
·模型佈署工具 -> DevCloud for the edge

模型推論工具 OpenVINO
影像前處理、後處理 openCV
模型部署工具 DevCloud for the edge

OpenCV 都是開源的，可再修改後，再閉源，OpenCV也不收費。

tinyML
intel為推廣AI，推出openVINO，用大家作好的模型
用同模型、不同資料集，品質不一樣
甚至可能原本下很多超參數
DevCloud提供在雲端發展AI，用網路版機器，看哪個ok再買實體

開源工具-OpenCV 基本功能
*影像調整
(亮度、對比等)
*影像濾波
(模糊、強化)
*邊緣提取
*型態學
*幾何畸變
*模板比對搜尋
(物件偵測)
*基本繪圖

開源工具-OpenCV 進階功能
*攝影機校正
*立體視覺
*深度影像
*影像拼接
*超像素分割
*特徵點匹配
*人臉定位
*色彩物件追蹤

開源工具-Intel OpenVINO
Open
Visual
Interface and
Neural network
Optimization

建模(Build)-》優化（Optimize)-》部署（Deploy)

推論引擎(Inference engine)

ㆍJupyter Notebook開發環境(類似Gooe Colab),並提供50GB儲存空間。12hr免費，但不保證斷線，斷線資料就遺失了。
ㆍOpenVINO預安裝
ㆍ提供「先試再買」服務,有30多種硬體組合可供測試推論效能,包含CPU,iGPU,VPU, Altera FPGA ㆍOpenVINO離線東西都還在

DevCloud 多種硬體同時運行相同模型進行效能比較，包含推論時間及推論速度

VPU（神經棒）
物件偵測：戴口罩、社交距離

分享未來展望及挑戰機器視覺未來展望
·對於傳統機器視覺難以定出精確檢測規範(如暇疵檢測、PCB打
件等)或過殺率(Over-Kill)過高的項目,值得加強投資,有助
於提高生產品質。
·對於人員動作及安全規範可利用姿態估測及分析來加強生產效率
及安全。
·對於具視覺能力的低速工業自走車或機器手臂可透過深度學習模
型增強對環境應對能力及協助經常更換製程的應用。

.智慧機器視覺挑戰
·資料集不易建置.包含不良品數量極少且各分類數量極度不平衡。
·訓練結果不得低於傳統MV算法。
·模型訓練完成後佈署到相同機型不同機器上的準確性差異。
·定期新增不良品資料集重新訓練後,要保證新舊不良品檢出能力一致。
·整體投資成本與檢測性價比。
.終極目標實現「非監督學習」自動找出異於正常品之能力。

【課程簡報】Edge AI小聚#7-機器視覺xAI的新應用與技術挑戰
https://omnixri.blogspot.com/2021/07/edge-ai7-xai.html

參考文獻

許哲豪， Intel 人工智慧運算 #1─ 快速掌握機器手臂視覺辨識技術
https://omnixri.blogspot.com/2020/09/intel-1.html

許哲豪 【 AI HUB 專欄 】 導入 AI 表面瑕疵異常偵測提升智慧製造品質
https://omnixri.blogspot.com/2020/07/ai-hubai.html

Intel OpenVINO Document
https://docs.openvinotoolkit.org/latest/index.html

Intel DevCloud
https://software.intel.com/content/www/us/en/develop/tools/devcloud/edge/overview.html

許哲豪， OpenVINO 系列教學文
https://omnixri.blogspot.com/p/blog page_19.html#OpenVINO

延伸閱讀

許哲豪，臺灣科技大學資訊工程系人工智慧與邊緣運算實務課程簡報
https://omnixri.blogspot.com/p/ntust-edge-ai.html

OmniXRI Github, Colab DevCloud and OpenVINO_Samples
https://github.com/OmniXRI/Colab_DevCloud_OpenVINO_Samples

Jetson nano比神經棒快
AI晶片太慢就用fpga
K260板

人臉辨識 https://omnixri.blogspot.com/2021/02/edge-ai1-edge-ai.html

機光電軟韌
人才很難找

https://technews.tw/2021/04/10/spherical-motion-microsatellite-tensor-tech/
https://buzzorange.com/techorange/2021/05/07/tensor-tech-taiwan/

https://www.ithome.com.tw/news/145189

https://omnixri.blogspot.com/2019/11/aicolumnyolov3.html