# TWLM Demo

如何試用 `tw-pythia-6.9b-chat-v0_2`：

<!-- [TOC] -->

## 1. Demo 網站（不定期開啟）

因為雲端 GPU 每小時成本 US$ 0.6 起跳，因此不會一直開著，或者說大部分的時間都不會開著。如果點進去看到 Error 1033，就代表現在沒開。

### ➡️ https://twlm-demo.dev-server.work

🔴 目前關著。
<!-- **🟢 目前開著，如果看到錯誤訊息可能是因為剛好正在重開，可以再試幾次。** -->

## 2. Colab

只要有 Google 帳號都可以隨時在免費版 Colab 上跑： <a href="https://colab.research.google.com/github/zetavg/twlm/blob/main/Demo.ipynb"><img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/></a>

但有以下缺點：

* 需要大概八分鐘的時間來下載模型並載入。
* 免費版 Colab (使用 T4 GPU) 只能容納 8bit 壓縮後的模型，模型的推理與生成文字能力會受到些許影響。
* 產生文字的速度較慢，大概比四月時的 GPT-4 稍慢一點。
* 切換模型也要花上許多時間，不易同時拿兩個模型來比較。

## 3. Lambda Cloud Demo <small>:money_with_wings: US$ 0.6 / hr</small>

進階選項，用自己的 Lambda Cloud 來 host demo。Host 的人付錢，GPU 用 A10 就可以了。如果已經有人 host，其他進來的人就可以蹭免費。

網址：https://cloud.lambdalabs.com/demos/twlm/twlm-demo

如果打開看到這個畫面代表現在沒人 host，可以點 Click here to host 並完成後續步驟啟動一個 GPU instance 來 host：
<img src="https://hackmd.io/_uploads/HkXluGJU3.png" style="max-width: 400px; border: 1px solid black;" /><br />

GPU instance 啟動後，會在自己的 GPU Instances 列表中看到使用中的機器，大概五分鐘後回到原網址就會出現畫面可以使用了。

<img src="https://hackmd.io/_uploads/rk7eYzkU3.png" style="max-width: 600px; border: 1px solid black;" /><br />

**用完記得 terminate** 否則會持續扣 :money_with_wings: (如上圖)。

## 4. SkyPilot <small>:money_with_wings:</small>

[SkyPilot](https://github.com/skypilot-org/skypilot) is a framework for easily running machine learning workloads on any cloud through a unified interface.

更進階，見此： https://github.com/zetavg/twlm-demo#skypilot 。

# 其他連結

* GitHub 專案： https://github.com/zetavg/twlm
* Model on Hugging Face Hub： https://huggingface.co/twlm/tw-pythia-6.9b-chat-v0_2