## AnythingLLM 測試 ### 測試文件使用 疾風勁草，風雨重生：國立政治大學在臺復校70周年 https://www.archives.gov.tw/wSite/public/Attachment/0/f1727679705873.pdf 中華電信2023永續經營報告 https://www.cht.com.tw/home/cht/-/media/web/pdf/sustainability/csr-report-download/csr/2023/2023esgc20240919.pdf?sc_lang=zh-tw0 ### 載入單一檔案測試結果 (速度最高達 404.63 tok/s) ![image](https://hackmd.io/_uploads/BJndsa3eex.png) ![image](https://hackmd.io/_uploads/SJRnFT3xxl.png) ![image](https://hackmd.io/_uploads/rJXAt6hxgg.png) ### RAG提問消耗tokens (input/output 讀取檔案會消耗較多/生成答案消耗較少) ![image](https://hackmd.io/_uploads/BkdyAThlle.png) ### 加場 google gemini (2.5 flash) 測試 ![image](https://hackmd.io/_uploads/rJGn9c6lll.png) ![image](https://hackmd.io/_uploads/rkYRc96leg.png) ## AnythingLLM使用安裝步驟 ### 1. 下載安裝軟體 https://anythingllm.com/ ### 2. 設定大語言模型 也可以設定載入其他語言模型如:ollama/gememi ![image](https://hackmd.io/_uploads/ByiaO6hlgg.png) ### 3. 設定向量參數 ![image](https://hackmd.io/_uploads/H155up3lgl.png) ### 其他參考網址(包裝成docker版本，方便跨平台使用) https://blog.darkthread.net/blog/anything-llm/