# Install Ollama on Mac

自己架設 llm 的好處就不多說了，直接開始動手吧！

## Install

* [Ollama](https://ollama.com/)
Download for macOS

Ollama是一款開源工具，目的在簡化大型語言模型（LLM）的本地運行和管理。它支援多種開源模型，如Llama 3、Phi 3、Mistral、Gemma等，並可在macOS、Linux和Windows平台上運行。

1. 下載後解壓縮，滑鼠點擊二下開啟
2. 點選「打開」
3. 點選「Move to Applications」移至應用程式
4. 點選「Next」繼續
5. 點選「Install」進行安裝
6. 複製執行指令「ollama run llama3.2」後，點選「Finish」完成安裝

## 執行

1. 開啟終端機，貼上複製的指令「ollama run llama3.2」後按 Enter 執行。（llama3.2 表示選用的模型，可更改）
2. 執行後如下：
3. 來測試一下吧！
4. 呃～好像不太對，是 prompt 的問題，重下試試：
看起來不錯
5. /bye
離開

## Open WebUI
如果想要有個類似 ChatGPT 的介面，同時也想讓其他電腦可以連線使用，就要再裝上 Open WebUI。
Open WebUI 在 Docker 中運行，所以要先裝 Docker（如果已裝 Docker，可跳過 Docker 安裝步驟。

### 安裝 Docker

1. 至 [Docker](https://) 網站下載 Docker Desktop for Mac

2. 下載後雙擊滑鼠左鍵開啟檔案，將 Docker 圖示拖曳至應用程式資料夾
3. 開啟 Docker 依指示進行安裝步驟

### 安裝 Open WebUI

1. 至 [Open WebUI](https://openwebui.com/) 網站，並點選「Get Open WebUI」按鈕。
2. 將網頁向下捲動至 Installation with Default Configuration，並按下複製圖示，複製指令
3. 打開終端機將指令貼上，並按下 Enter 執行
4. 開啟 http://mac_ip:3000 就可連上，第一個註冊的使用者就是管理員
5. 可以開始使用囉~

## 結語

基本上依一些教學文或影片的步驟安裝沒什麼問題，算是極容易上手。
硬體：Mac Mini, 3.6 GHz 四核心 Intel Core i3, 8GB 2667 MHz DDR4
這樣的硬體配備在本地端執行時速度還可以，但使用網路連線時速度就有點慢...
實測採用 llama3.2 model，從送出 prompt 到出現回應約 16 秒，回應完成時間則視回應內容長短而定。

## References

* [透過Ollama在本機電腦執行大型語言模型（LLM）：macOS篇](https://swf.com.tw/?p=1949)
* [離線不怕隱私外洩！免費開源 AI 助手 Ollama 從安裝到微調，一支影片通通搞定！](https://www.youtube.com/watch?v=JpQC0W91E6k)