---
# System prepended metadata

title: 建構本地端執行的AI(2)
tags: [RAG, demo, LLM]

---

## AnythingLLM 測試
### 測試文件使用
疾風勁草，風雨重生：國立政治大學在臺復校70周年
https://www.archives.gov.tw/wSite/public/Attachment/0/f1727679705873.pdf
中華電信2023永續經營報告
https://www.cht.com.tw/home/cht/-/media/web/pdf/sustainability/csr-report-download/csr/2023/2023esgc20240919.pdf?sc_lang=zh-tw0
### 載入單一檔案測試結果 (速度最高達 404.63 tok/s)
![image](https://hackmd.io/_uploads/BJndsa3eex.png)
![image](https://hackmd.io/_uploads/SJRnFT3xxl.png)
![image](https://hackmd.io/_uploads/rJXAt6hxgg.png)
### RAG提問消耗tokens (input/output 讀取檔案會消耗較多/生成答案消耗較少)
![image](https://hackmd.io/_uploads/BkdyAThlle.png)
### 加場 google gemini (2.5 flash) 測試
![image](https://hackmd.io/_uploads/rJGn9c6lll.png)
![image](https://hackmd.io/_uploads/rkYRc96leg.png)
## AnythingLLM使用安裝步驟
### 1. 下載安裝軟體
https://anythingllm.com/
### 2. 設定大語言模型
也可以設定載入其他語言模型如:ollama/gememi
![image](https://hackmd.io/_uploads/ByiaO6hlgg.png)
### 3. 設定向量參數
![image](https://hackmd.io/_uploads/H155up3lgl.png)
### 其他參考網址(包裝成docker版本，方便跨平台使用)
https://blog.darkthread.net/blog/anything-llm/



