# 2023/10/18開發日誌(RE:第四周)

# 目前階段(護理的專業回答)
因考量到時間和進度，大概沒辦法把讓他玩遊戲的功能做出來，單靠文字和語音的互動，可能會略顯單調，因此把方向調整護理的專業回答。

# 支線任務(chatglm + langchain)完成
用我們現有的項目延伸，縮小回答的範圍，專注在護理的專業回答。目前使用langchain做文檔的檢索，結合chatglm做回答。

Langchain 文档检索
数据准备： 確保您的文件數據已經準備好，並且可以被Langchain訪問。將文件存儲在數據庫中。

圈起來的部分為已丟進去的文件數據:

ChatGLM 模型
回答生成： 說明如何將Langchain的檢索結果輸入到ChatGLM中，以生成回答。將檢索到的文件傳遞給模型的輸入。
有助於用戶成功使用Langchain進行文件檢索和ChatGLM生成回答。


bert-vits2:將要回答給使用的文本轉換成語音作為輸出

# 目前進度
1.利用台灣Vtuber時程表尋找出合適的兩種聲音進行混音

2.安裝Sovits5.0進行測試混音內容

# 目前問題

vts react雖然可以自動化控制live2d但能自動觸發事件太少了,所以還需要再增加其他的vts控制
目前常識的有 pyvts,Vtchaos

pytvs控制live2d程式碼卡在
API_NAME = config.vts_api["ws://0.0.0.0:8002"]
還不確定API_NAME是要去哪裡設定

VTchaos主要是操作面板設定還沒連上vts api

# 待解決的問題許願池:
1. live2d無人可追蹤時的自動控制方案 優化中
2. 數據集的提升

# 下周預計推進的進度
- [ ] 1.接入語音識別
- [ ] 2.嘗試做混音WAV檔訓練bert-vits2

<style>
.blue {
color: red;
}
</style>
{%hackmd sMV2zv-CTsuIqnpb0hZLmA %}