# Carre4Rec ## workflow ![](https://i.imgur.com/Kgj40OY.png) ## Quick Start - 架設環境 ``` make run ``` - 進入環境 ``` make exec ``` - 進行資料前處理 ``` make pp ``` - **Step 1.** 將新的資料放到 Data 資料夾中 ![](https://i.imgur.com/j04B7s4.png) - **Step 2.** 執行`make pp`,選擇剛剛加入的新資料 `carrefour_new.csv` ![](https://i.imgur.com/IppJyMo.png) - 系統會自動讀取 `data` 資料夾底下的 `.csv`, `.pkl`, `.pickle` 檔案供使用者選擇 - **Step 3.** 處理完成的資料存放在 `data/cache/dataclass` 中 ![](https://i.imgur.com/Q8ik8jo.png) - 前處理後進行**模型訓練** ``` make train ``` - **Step 1.** AI 模型有許多參數需要處理,我們採用**config 配置檔**來管理這些參數,因此當第一次輸入 `make train` 時,系統會<font color='red'>檢查`configs` 資料夾下有無配置檔</font>,沒有的話就進入創建配置檔的程序: ![](https://i.imgur.com/ACQ3l0y.png) - **Step 2.** 建立好的配置檔存放在`configs`資料夾中,參數值可依據需要進行調整 ![](https://i.imgur.com/9lb5FDn.png) - **Step 3.** 選擇已建立配置檔進行訓練 ![](https://i.imgur.com/PH6EYJf.png) - **Step 4.** 模型訓練中 ![](https://i.imgur.com/mzed6V2.png) - **Step 5.** 模型訓練完成 ![](https://i.imgur.com/KgSSKZG.png) - **模型回測:** 在瀏覽器上輸入 [localhost:6006](http://localhost:6006) 進入 tensorboard 儀表板,可以查看模型訓練回測紀錄等細節 ![](https://i.imgur.com/0m6eWbE.jpg) - **config 檔名說明**: <font color='red'>{模型名稱}</font>.<font color='red'>{使用者自訂名稱}</font>.<font color='red'>{訓練在哪個資料集上}</font>.config.json - <font color='red'>Notice</font>: 因為每次前處理不同資料集的token都不同,因此預設模型必須在同個資料集上作inference - 模型訓練完成後,進行預測 ``` make infer ``` - **Step 1.** 選擇預測使用的模型架構、資料以及訓練好的模型檔`.ckpt` ![](https://i.imgur.com/B2eh134.png) - 系統會根據選擇的模型架構,只列出同模型的`.ckpt`檔案列表供使用者選擇 - **Step 2.** 預測完成 ![](https://i.imgur.com/nGQsGGw.png) ![](https://i.imgur.com/LXgrVRS.png)