# Lab18 Camera with YoloV8
## 2024教育部計劃 實驗二

## 版本
* rpiOS 64bit
*

## 安裝相機模組
https://youtu.be/GImeVqHQzsE?si=7L95tqPVCRvB3jW9
* 先打開相機阜的卡榫。這個卡榫要兩邊同時施力拉起，注意不要太大力，只能拉起來 1~2 mm 而已。
* 接著將相機排線插入，一樣不用太大力，輕輕地就可以了。小心不要折到排線。
* 插入後再將卡榫蓋回即可，注意排線要平整的插入，不可以左右不一樣高。

## 相機測試

#會跑五秒的測試
rpicam-hello

看到這個畫面就是正常的(如果rpi有接螢幕的話會有相機畫面)
## 使用指令拍照

# 會跑五秒中之後拍照，檔案名稱為test.jpg
rpicam-jpeg -o test.jpg
# 可以加上-t參數來控制要延遲多久拍照 單位是微秒
rpicam-jpeg -o test.jpg -t 3000
# 延遲三秒後拍照
rpicam-jpeg -o test.jpg -t 1
# 秒拍

* 透過vscode的介面來查看圖片
* 參數控制
* -O : 輸出檔案名稱路徑
* -t : 再多少毫秒之後拍照 預設是5000
* --width :寬度 最大4608
* --height: 高度 最大2592
* --shutter: 曝光時間 單位微秒(0.001毫秒-)
* 也可以調整亮度、旋轉、反轉等等 可以用 `rpicam-jpeg -h` 查看
## 使用指令錄影

rpicam-vid -t 10000 -o test.h264
# 把.h264檔下載到電腦可以看

## 使用python控制鏡頭

from picamera2 import Picamera2, Preview
import time
picam2 = Picamera2()
camera_config = picam2.create_preview_configuration() 
picam2.configure(camera_config) 
picam2.start() 
out = picam2.capture_file("test2.jpg")
print((out))

## 安裝

pip install ultralytics --break-system-packages

## 使用yolo作影像辨識
先執行`rpicam-vid -t 0 --inline --listen -o tcp://0.0.0.0:8888`後在執行下面的python

from ultralytics import YOLO

model = YOLO('yolov8n.pt')

res = model.predict('tcp://127.0.0.1:8888', show=True)

## 自行設定訓練資料集
https://app.roboflow.com/

* 先建立一個新的project，可以自行為他命名

* 上傳圖片至project
* 完成後點選右上角save and continue

* 點選 start manual labeling 後 assign image 給自己
* 接著就可以點start annotation 來標註自己的圖片了

* 右邊有一些工具可以用，預設是只用box 來框選，也可以改成不規則，並自行設定label
* 完成後點選左上角的箭頭，並點選右上角的add to dataset

* 可以根據你想要的比例來切割資料集
* train: 用來訓練的資料
* validation: 訓練過程中驗證結果的資料
* test: 訓練完畢後用來評估模型好壞的資料
* 通常是70%/20%/10% 的比例

* 接著點選左邊的generate 就可以來製作資料集了
* 可以自行設定前處理(preprocessing)以及資料增強(augmentation)的方式
* 注意設定時要考慮到是否合理，例如要做數字辨識的時候不能左右或上下翻轉
* 可以每個都玩玩看
* 
* 最後可以選擇要生成多少的圖片作為資料，免費仔最多只能生成原始資料的三倍

* 完成後點選右上角的export dataset，選擇yolov8，並選取download zip to computer
* 就可以得到資料的zip檔了，解壓縮後就可以丟上google colab 進行訓練

## colab 訓練自訂模型

https://drive.google.com/file/d/1OaicYnzy8BHtesrXrFd7KI7xep9AhqdG/view?usp=drive_link
https://colab.research.google.com/drive/16tDFRCITekb53MrcX2wIz48Hj1iER_Fk?usp=sharing

## 使用自訂yolo模型作影像辨識
先執行`rpicam-vid -t 0 --inline --listen -o tcp://0.0.0.0:8888`後在執行下面的python

from ultralytics import YOLO

// 要把模型的檔案名稱換成剛剛訓練的檔案名稱
model = YOLO('yolov8n.pt')

res = model.predict('tcp://127.0.0.1:8888', show=True)