# 本地端AI知識庫建立ollama+openweb ui
## 1. 更新驅動軟體
採用nvidia顯卡一樣，先更新顯示卡驅動，並確認CDUA核心版本。
確認版本
## 2. 安裝 CUDA、cuDNN
安裝方式參照以下網址：
https://medium.com/ching-i/win10-%E5%AE%89%E8%A3%9D-cuda-cudnn-%E6%95%99%E5%AD%B8-c617b3b76deb
## 3. 安裝ollama 系統
因為安裝windows 版本就直接下載安裝即可。
下載網址：https://ollama.com/download/windows
## 4. 安裝大語言模型
### 1. `執行：ollama run 模組名稱 `
>然後等待下載完畢即可此時可以透過指令可以執行來進行執行模型，但此時 因為缺少前端WEB UI模組，但目前部屬方式都需要使用，Docker，但已windows方式會需要安裝docker管理器。
>所以可以先執行
`python -m venv llm_env`
>建議在其他磁區目錄執行這個指令。
>等待下載完畢後，確認目錄底下是否有Scripts這個資料夾，並進入，在執行>activate.bat。完成這個步驟就可以繞過Docker來執行pip與安裝open->webui。
>例如： `E:\llm_env\Scripts\activate.bat`，即可。
### 2. 執行 `pip install open-webui==0.2.5`進行下載與安裝，待安裝完成後。
### 3. 後執行`open-webui serve`
>>待安裝完成後，開啟瀏覽器http://<ip>:8080。註冊帳號並完成登入即可。

**注意事項：當初在實測過程中想說利用LangChain來編輯與整合open-webui，但會出現元件衝突，故不建議兩種系統同時佈建在同一主機上。**