TWLM Demo

如何試用 tw-pythia-6.9b-chat-v0_2：

1. Demo 網站（不定期開啟）

因為雲端 GPU 每小時成本 US$ 0.6 起跳，因此不會一直開著，或者說大部分的時間都不會開著。如果點進去看到 Error 1033，就代表現在沒開。

➡️ https://twlm-demo.dev-server.work

🔴 目前關著。

2. Colab

只要有 Google 帳號都可以隨時在免費版 Colab 上跑：

但有以下缺點：

• 需要大概八分鐘的時間來下載模型並載入。
• 免費版 Colab (使用 T4 GPU) 只能容納 8bit 壓縮後的模型，模型的推理與生成文字能力會受到些許影響。
• 產生文字的速度較慢，大概比四月時的 GPT-4 稍慢一點。
• 切換模型也要花上許多時間，不易同時拿兩個模型來比較。

3. Lambda Cloud Demo US$ 0.6 / hr

進階選項，用自己的 Lambda Cloud 來 host demo。Host 的人付錢，GPU 用 A10 就可以了。如果已經有人 host，其他進來的人就可以蹭免費。

網址：https://cloud.lambdalabs.com/demos/twlm/twlm-demo

如果打開看到這個畫面代表現在沒人 host，可以點 Click here to host 並完成後續步驟啟動一個 GPU instance 來 host：

GPU instance 啟動後，會在自己的 GPU Instances 列表中看到使用中的機器，大概五分鐘後回到原網址就會出現畫面可以使用了。

用完記得 terminate 否則會持續扣

(如上圖)。

4. SkyPilot

SkyPilot is a framework for easily running machine learning workloads on any cloud through a unified interface.

更進階，見此： https://github.com/zetavg/twlm-demo#skypilot 。

其他連結

• GitHub 專案： https://github.com/zetavg/twlm
• Model on Hugging Face Hub： https://huggingface.co/twlm/tw-pythia-6.9b-chat-v0_2