# 電腦視覺

論文名稱:Bag of Tricks and A Strong Baseline for Deep Person Re-identification

[論文](https://arxiv.org/pdf/1903.07071)

# 電腦視覺 REID結合YOLO應用AMR特定人物追蹤

## Motivation

YOLO（You Only Look Once）是一種高效的目標檢測算法，能夠在圖像中快速檢測出多個物體並進行分類。其優勢在於高速度和高精度，能夠在單次前向傳播中完成物體檢測和分類，非常適合於實時應用。然而，YOLO本身無法進行特定對象的影像追蹤，這主要是由於其內在的限制。

YOLO缺乏識別特定個體的能力。雖然它可以準確地檢測出圖像中的人、車等物體，但它僅能進行類別分類，無法區分同一類別中的不同個體。例如，YOLO可以識別圖像中的多個人，但無法確定哪個人是特定的目標。因此，在人群密集的場景中，YOLO無法有效地鎖定並追蹤特定的人。

隨著人工智慧和機器人技術的快速發展，自走機器人在日常生活中的應用越來越廣泛。其中，自動跟隨特定人物的功能在行李箱和搬運機器人等應用中尤為重要。這些機器人需要具備高效且準確的目標跟蹤能力，以便在複雜環境中識別並跟隨特定的主人或操作人員。為了實現這一目標，行人重識別（ReID）技術搭配YOLO目標檢測算法成為理想的解決方案。

行人重識別技術的出現解決了多角度下人物外觀變化的問題。ReID的主要目的是在不同攝像機角度下識別並匹配相同的行人。這項技術能夠捕捉並分析行人的衣著、姿態和顏色等特徵，並利用深度學習模型提取高維特徵向量，從而實現精確的身份識別。ReID的優勢在於其對於複雜背景和光線變化具有較強的適應能力，這使得它能夠在多樣化的環境中保持穩定的識別性能。這對於實現特定人物的持續追蹤至關重要。

將ReID技術和YOLO目標檢測結合起來，可以有效地解決自走機器人跟隨特定人物的挑戰。首先，通過機器人上的鏡頭模組捕捉實時影像串流，並進行基本的圖像預處理，如尺寸調整和顏色歸一化。接著，利用YOLO模型在影像串流中檢測出所有行人，並標記其位置和框架。對於每個檢測到的行人，使用訓練好的ReID模型提取其特徵向量，並與預存的目標人物特徵庫進行比對，從而識別出特定的人物。

再透過從深度攝影機中，取得的影像的距離資訊，將其回傳給ROS系統，讓自走機器人可以正確追蹤使用者。

### Feature

論文名稱:Bag of Tricks and A Strong Baseline for Deep Person Re-identification

[論文](https://arxiv.org/pdf/1903.07071)

yolov5_reid

[技術實現](https://github.com/YINYIPENG-EN/yolov5_reid)

## Method

透過深度攝影機取得影像串流並輸入YOLO模型
，再進入ReID模型的過程，能夠實現對特定人物的精確追蹤。這一過程的第一步是使用深度攝影機捕捉實時的影像串流。深度攝影機能夠提供不僅包含色彩信息的RGB圖像，還有深度信息，這有助於在複雜背景下更準確地檢測目標。

一旦取得影像串流，這些數據會被輸入到YOLO（You Only Look Once）模型中進行處理。能夠在單次前向傳播中快速檢測並標記出圖像中的所有行人。YOLO的輸出是一系列包含每個檢測到的行人位置的邊界框，這些邊界框會被傳遞到下一步進行進一步處理。

接下來，從YOLO模型輸出的每個行人圖像會被輸入到ReID（行人再識別）模型中。ReID模型的目的是提取每個行人的特徵向量，這些特徵向量能夠捕捉行人的獨特外觀特徵，如衣著、姿態和顏色等。ReID模型會將這些特徵向量與預先存儲的目標人物特徵進行比對，從而識別出特定的目標人物。

最終，識別出的目標人物信息會被傳遞給ROS2自主移動機器人（AMR）。AMR接收這些信息後，會根據目標人物的實時位置調整自身的運動路徑，以實現對特定人物的持續跟隨。

程式部分引用yolov5_reid行人重識別這篇文章REID程式的部分，原文使用影片，我們將Source部分改讀取深度攝影機。


## Experimental Results

在深度攝影機中能正確讀取並錄製影片

以影片輸入測試:

提供樣張


輸出成果

{%youtube 94YQ8VrQnsE %}

以我們修改的深度攝影機測試:

提供樣張


輸出成果

{%youtube Ed9zmDMTjFI %}

---
提供(正面、反面)樣張

{%youtube 0QWYHT_SVjc %}

---
提供不同數量樣張(高對比服裝)
{%youtube TfnWhwVdnjs %}

---

提供不同數量樣張(低對比服裝)

{%youtube V_KPfT_6r1c %}

---
非人影像

[{%youtube zNRplDy3MFw %}
](https://www.youtube.com/watch?v=zNRplDy3MFw&ab_channel=EddieWoarg)

## Conclusion

在影片中我們可以透過匡列的方式去提供我要選取的照片，而在深度攝影機中則可以透過第一幀的影像截圖去做影像處理，而在取得影像的同時再透過REID匡列我們所要的人物，就可以得到我們要得影像資訊。

## 組員分工

余奕昕(M123010170):程式碼運行測試、程式功能新增、口頭報告ppt製作。

謝秉恆(M123010095):程式碼運行測試、影片輸入輸出導出、口頭報告ppt製作。