# 河廊交接資料說明
##

| 專案編號 | 年份 | 降雨 | 工作內容 |
| -------- | -------- | -------- | -------- |
| BR2008 | 2020 | 1. RAIN AI API (ConvLSTM/LightGBM) | 降雨AI模型開發 |
| BR2106 | 2021 | 1. RAIN AI API (ConvLSTM/LightGBM model + obs + NCDR) >>> `BR2106_rainfall_api.bat` <br/> 2. NCDR RADAR API (額外協助) >>> `BR2106_radar_api.bat` | 舊AI模型修正擴充 |
| BR2206 | 2022 | 1. RAIN AI API (ConvLSTM/LightGBM model + obs + NCDR) >>> `BR2106_rainfall_api.bat` <br/> 2. RAIN AI API (LSTM model) >>> `NTUC_lstm_rainfall_api.bat` | 舊AI模型持續維護<br/>新AI模型新增服務 |

| 專案編號 | 年份 | 淹水 | 工作內容 |
| -------- | -------- | -------- | -------- |
| BR2008 | 2020 | X | X |
| BR2106 | 2021 | 1. HY21 AI API (input ConvLSTM/LightGBM model + obs + NCDR) >>> `BR2106_flood_api.bat` <br/> 2. HY21 QPF API (input QPF) >>> `BR2106_qpf_flood_api.bat` | 舊模型擴充後串接<br/>新增QPF資料串接 |
| BR2206 | 2022 | 1. HY21 AI API (input LSTM model) >>> `BR2106_flood_api.bat` <br/> 2. HY21 QPF API (input QPF) >>> `BR2106_qpf_flood_api.bat` | 新模型取代串接<br/>持續維護QPF串接 |

## 基本路徑定義
* 開機啟用程式資料夾: C:\Users\thinktron\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup
* BR2008基本路徑=C:\Users\thinktron\Desktop\Projects\rainfall_predition\rain_pred
* BR2106基本路徑=C:\Users\thinktron\Desktop\service\br2106_taoyuanrainfall
* NCDR基本路徑=C:\Users\thinktron\Desktop\Projects\rainfall_predition\NCDR_Radar
* CWB雷達基本路徑=C:\Users\thinktron\Desktop\Projects\rainfall_predition\radar_process
* 淹水結果基本路徑=C:/Users/thinktron/Desktop/Projects/rainfall_predition/flood_pipeline
* QPF淹水結果基本路徑=C:/Users/thinktron/Desktop/Projects/rainfall_predition/flood_pipeline

## 相關專案API
1. BR2008(開發用，目前無實際對外執行)
* Mask範圍: ```桃園市及其鄰近鄉鎮```
* API程式路徑：```$BR2008基本路徑\app_br2008.py```
* 取用API網址：```/br2008_rain/pred_rain_api```
* API使用資料路徑
1. rainPredFolder = ```"$BR2008基本路徑/pred_results/"```
2. ncdrRainPredFolder = ```"$NCDR基本路徑/residual_pred/"```
* 相關使用資料程式:
1. rainPredFolder: ```每十分鐘會由Windows工作排程器的pred_rain_Taiwan觸發對應程式($BR2008基本路徑\rain_pred.bat)，也就是執行"$BR2008基本路徑\pred_3hr.py"```
2. ncdrRainPredFolder: ```每十分鐘會由Windows工作排程器的NCDR_Radar_pred_rain觸發對應程式($NCDR基本路徑\ziyu_NCDR_Radar_pred_rain.bat)，也就是執行"$NCDR基本路徑\ncdr_radar_pred.py"```

2. BR2106(有實際對外執行，開機啟用程式依序為下列)
(i) BR2106_rainfall_api.bat
* Mask範圍: ```桃園市及其鄰近鄉鎮```
* API程式路徑：```$BR2106基本路徑\rainfall_api\app_br2008.py```
* 取用API網址：```/br2008_rain/pred_rain_api```
* API使用資料路徑
rainPredFolder = ```"$BR2008基本路徑/pred_results/"(原本為OBS rain)```
ncdrRainPredFolder = ```"$NCDR基本路徑/residual_pred/" ```
* 相關使用資料程式:
1. rainPredFolder: ```每十分鐘會由Windows工作排程器的pred_rain_Taiwan觸發對應程式($BR2008基本路徑\rain_pred.bat)，也就是執行"$BR2008基本路徑\pred_3hr.py"```
2. ncdrRainPredFolder: ```每十分鐘會由Windows工作排程器的NCDR_Radar_pred_rain觸發對應程式($NCDR基本路徑\ziyu_NCDR_Radar_pred_rain.bat)，也就是執行"$NCDR基本路徑\ncdr_radar_pred.py"```
3. residual_pred(後改為rainPredFolder): ```每十分鐘會由Windows工作排程器的Residual_rain_prediction觸發對應程式($NCDR基本路徑\ziyu_residual_pred_rain.bat)，也就是執行"$NCDR基本路徑\residual_rain_prediction.py"```

(ii) BR2106_radar_api.bat
* API程式路徑：```$BR2106基本路徑/radar_api/app_ncdrRader.py```
* 取用API網址：```/radar/pred```
* API使用資料路徑
ncdrRainPredFolder = ```"$NCDR基本路徑/radar_data/" ```
* 相關使用資料程式:
1. ncdrRainPredFolder: ```每十分鐘會由Windows工作排程器的NCDR_crawler觸發對應程式($NCDR基本路徑\ziyu_NCDR_crawler.bat)，也就是執行"$NCDR基本路徑\ncdr_radar_crawler.py"```

(iii) BR2106_flood_api.bat
* API程式路徑：```$BR2106基本路徑/flood_api/app.py```
* 取用API網址：```/br2008_flood/{file_name}```
* API使用資料路徑
statics = ```"$淹水結果基本路徑/output/"```
* 相關使用資料程式:
1. statics: ```每十分鐘會由Windows工作排程器的flood_pred觸發對應程式($淹水結果基本路徑\flood_pred.bat)，也就是執行"$淹水結果基本路徑/pipe.py"```

(iv) BR2106_qpf_flood_api.bat
* API程式路徑：```$BR2106基本路徑/qpf_flood_api/app.py```
* 取用API網址：```/qpf_flood/{file_name}```
* API使用資料路徑
statics = ```"$QPF淹水結果基本路徑/output/"```
* 相關使用資料程式:
1. statics: ```每十分鐘會由Windows工作排程器的QPF_Flood觸發對應程式($QPF淹水結果基本路徑\flood_pred.bat)，也就是先後執行"$QPF淹水結果基本路徑/crawler_qpf.py"以及"$QPF淹水結果基本路徑/pipe.py"```

3. BR2206(有實際對外執行，開機啟用程式為:NTUC_lstm_rainfall_api.bat)
* Mask範圍: ```桃園市及其鄰近鄉鎮```
* API程式路徑：```C:\Users\ntuc\Desktop\Service\LSTM_rainfall_api```
* 取用API網址：```/ntuc_lstm_rain/pred_rain_api```
* API使用資料路徑
rainPredFolder = ```"C:\Users\ntuc\Desktop\MoveThinkthron\LSTM_rain_prediction\pred_results"```
* 相關使用資料程式:
* 請洽 ```C:\Users\ntuc\Desktop\MoveThinkthron\LSTM_rain_prediction```

## 補充說明:
* pred_3hr.py:
* 使用資料
1. 雷達資料: "$CWB雷達基本路徑/npy_file"
2. 雷達預測模型(ConvLSTM): "$BR2008基本路徑/saved_models/models_e2d2_timebmse_-5hr_-170min_3hr_2.1690.hdf5"
3. 雷達預測當下雨量模型(LightGBM): "$BR2008基本路徑/gbm_model/radar2rain.txt"
* 產出資料
1. 雨量結果: "$BR2008基本路徑/pred_results/"
2. 雷達結果: "$BR2008基本路徑/pred_radar_results/"

* ncdr_radar_pred.py
* 使用資料
1. 雷達資料: "$NCDR基本路徑/radar_data"
2. 雷達預測當下雨量模型(LightGBM): "$NCDR基本路徑/gbm_model/radar2rain_20mm.txt"
* 產出資料
1. 雨量結果: "$NCDR基本路徑/pred_results/"

* pipe.py
* 使用資料
1. HY21(中興的淹水模擬程式): "C:\SEC-HY21\Flood_Predict\FloodPredict_Run.bat"
2. Field_UG_Reader.exe(興創的hyb轉txt程式): "$淹水結果基本路徑/test/Field_UG_Reader.exe"
* 產出資料
1. 淹水模擬結果Cells: "$淹水結果基本路徑/output/***_地區名稱_Cells.txt"
2. 淹水模擬結果Nodes: "$淹水結果基本路徑/output/***_地區名稱_Nodes.txt"

* residual_rain_prediction.py
* 使用資料
1. 預測雨量資料: "$BR2008基本路徑/rain_pred/gz2rainPred"
2. 觀測雨量資料: "$NCDR基本路徑/obs_rain_data/"
3. NCDR雷達轉雨量結果: "$NCDR基本路徑/pred_results/"
* 產出資料
1. 殘差修正雨量結果: "$NCDR基本路徑/residual_pred"

* crawler_qpf.py
* 使用資料
1. QPF轉txt程式: "$QPF淹水結果基本路徑/exe/Read_QPE_QPF.exe"
* 產出資料
1. QPF轉成numpy array成果: "$QPF淹水結果基本路徑/qpf_data"

## 定期清理資料
1. 用系統管理員權限 C:\Users\thinktron\Desktop\Projects\rainfall_predition> python .\remove_hyb.py
2. 用7zip選擇極致壓縮，壓縮每個月分的NCDR資料(pattern為
NCDR_YYYYMM.7z)，壓縮完成後刪除對應時間的資料夾
C:\Users\thinktron\Desktop\Projects\rainfall_predition\NCDR_Radar\radar_data\
3. 壓縮每個月分的預測資料(pattern為
YYYYMM_pred_results.7z)，壓縮完成後刪除對應時間的資料夾
C:\Users\thinktron\Desktop\Projects\rainfall_predition\NCDR_Radar\pred_results\
4. QPF資料壓縮後刪除(pattern為QPF_flood_YYYYMM.7z)，位置在
C:\Users\thinktron\Desktop\service\br2106_taoyuanrainfall\qpf_flood_api\qpf_data\src_gz
(執行以上4個步驟後應該需要等待不短的時間，此時可以先讓電腦跑完壓縮

5. 刪除QPF output裡面的資料夾以及文字檔案，通常文字檔案當月份的不刪除
C:\Users\thinktron\Desktop\service\br2106_taoyuanrainfall\qpf_flood_api\output

6. 壓縮每個月分的預測資料(pattern為
YYYYMM_pred_results.7z)，壓縮完成後刪除對應時間的文字檔
位置為:
C:\Users\thinktron\Desktop\Projects\rainfall_predition\flood_pipeline\output

7. 壓縮每個月分的預測資料(pattern為
pred_radar_results_YYYYMM.7z)，壓縮完成後刪除對應時間的文字檔
位置為:
C:\Users\thinktron\Desktop\Projects\rainfall_predition\rain_pred\pred_radar_results