下載LM STUDIO
---
https://lmstudio.ai/
參考連結:LM STUDIO本地端模型系統操作說明
---
https://hackmd.io/@whYPD8MBSHWRZV6y-ymFwQ/HyPYe9Op6
MediaTek-Research/Demo-MR-Breeze-7B 在huggingface [連結 ](https://huggingface.co/spaces/MediaTek-Research/Demo-MR-Breeze-7B)
---

本地端使用GGUF格式LLM模型
---
https://medium.com/@NeroHin/%E5%B0%87-huggingface-%E6%A0%BC%E5%BC%8F%E6%A8%A1%E5%BC%8F%E8%BD%89%E6%8F%9B%E7%82%BA-gguf-%E4%BB%A5inx-text-bailong-instruct-7b-%E7%82%BA%E4%BE%8B-a2cfdd892cbc
LM STUDIO 軟體搜尋[TAIDE]或下載想要使用的模型(https://taide.tw/public/about)相關GGUF模型
---

LM STUDIO 已安裝LM模型(TADIE, gemmi-2b, Mete-llama-3, Breez-7b-instruct)
---

選擇載入模型
---

例外處理,當發現電腦記憶體不夠時...改選其他消耗較少資源模型
---

電腦VRAM是4GB,下載此系列模型<4GB的可以載入成功
---

簡單做了一下的測試
---
問:
```
請幫我介紹台灣美食
```
答:
```
在臺灣,除了珍珠奶茶外,還有許多道地小吃值得一試。這裡列出五種你絕對不能錯過的:
1. 小籠包:這些蒸餃以其皮薄、湯汁豐富而聞名,內餡通常包含豬肉及高麗菜,咬下一口能感受到鮮美的滋味。
2. 蚵仔煎:這是一道源自臺南的經典小吃,以蚵仔(牡蠣)和雞蛋為主要材料,再加入麵粉和蔥花等調味料翻炒而成。口感香脆可口,是到臺灣必吃的美食之一。
3. 臭豆腐:這道菜餚的名字雖然讓人敬而遠之,但其特殊的氣味卻吸引著許多人的味蕾。臭豆腐可以油炸或燉煮,搭配蒜蓉醬或辣椒醬一起食用,更添風味。
4. 牛肉麵:這道麵食在臺灣非常普遍,尤其以臺北知名。牛肉麵的湯頭通常由牛骨、洋蔥、大蒜等熬製而成,再配上Q彈的麵條和軟嫩的牛肉塊。
5. 芒果冰:夏天來臨時,一碗清涼的芒果冰是消暑聖品。新鮮的芒果切成塊狀,搭配剉冰、糖水和煉乳,是許多臺灣人日常消暑的選擇。
這些只是臺灣美食中的一小部分,還有許多其他值得一試的菜餚,如滷肉飯、雞排、蚵仔麵線等。歡迎你來到臺灣,親自體驗這裡的飲食文化!
```
效能表現
---

看一下影片感受一下語速
---
{%youtube POISNkbzSRc %}