# 用於 LLM inference & serving 的 vLLM
## 使用 pip 安裝
```bash
# Install vLLM with CUDA 12.1.
pip install vllm
```
:::success
:notebook: Note
截至目前，vLLM 的二進位檔案預設在 CUDA 12.1 上編譯。但是，您可以透過執行下列命令來安裝帶有 CUDA 11.8 的 vLLM：
```bash
# Install vLLM with CUDA 11.8.
export VLLM_VERSION=0.2.4
export PYTHON_VERSION=39
pip install https://github.com/vllm-project/vllm/releases/download/v${VLLM_VERSION}/vllm-${VLLM_VERSION}+cu118-cp${PYTHON_VERSION}-cp${PYTHON_VERSION}-manylinux1_x86_64.whl
# Re-install PyTorch with CUDA 11.8.
pip uninstall torch -y
pip install torch --upgrade --index-url https://download.pytorch.org/whl/cu118
# Re-install xFormers with CUDA 11.8.
pip uninstall xformers -y
pip install --upgrade xformers --index-url https://download.pytorch.org/whl/cu118
```
:::
## 離線批次 inference
我們先示範使用 vLLM 在資料集上進行離線批次 inference。
從 **`vllm`** 導入 **`LLM`** 和 **`SamplingParams`**。**`LLM`** 類別是使用 vLLM engine 運行離線 inference 的主要類別。**`SamplingParams`** 類別指定採樣過程的參數。
```python
from vllm import LLM, SamplingParams
```
在文本生成過程中有兩個重要的參數，分別是 **`temperature`** 和 **`top_p`**：
+ **`temperature`**：輸出的隨機性程度，數值範圍介於 0 到 1 之間，較高的值（如 0.8）將使輸出更加隨機，而較低的值（如 0.2）將使其更加集中和確定性。
+ **`top_p`**：模型考慮了概率質量 top_p 中的 token 結果。因此，0.1 意味著只有組成前 10% 概率質量的 token 被考慮。
有關採樣參數的更多信息，請參閱[類別定義](https://github.com/vllm-project/vllm/blob/main/vllm/sampling_params.py)。
接著定義要輸入的 prompts 列表和生成的採樣參數。
```python
sampling_params = SamplingParams(temperature=0.2, top_p=0.95)
```
```python
from transformers import AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("model_16bit")
messages_list = [
[
{"from": "human", "value": "Next number of the fibonnaci sequence: 1, 1, 2, 3, 5, 8,"},
],
[
{"from": "human", "value": "台灣最高的建築物是什麼？"},
],
]
prompts = [
tokenizer.apply_chat_template(
messages,
tokenize = False,
add_generation_prompt = True,
) for messages in messages_list
]
```
我們看一下 prompts 變數裡面長什麼樣。
```
['<|im_start|>user\nNext number of the fibonnaci sequence: 1, 1, 2, 3, 5, 8,<|im_end|>\n<|im_start|>assistant\n',
'<|im_start|>user\n台灣最高的建築物是什麼？<|im_end|>\n<|im_start|>assistant\n']
```
使用 **`LLM`** 類別和上個章節儲存的 [Mistral 16-bit 模型](https://hackmd.io/dwWO-7kOTm6C-ViqzfQEnQ#Saving-to-float16-for-VLLM)初始化 vLLM engine 以進行離線 inference。支援的模型清單可在[支援的模型](https://docs.vllm.ai/en/latest/models/supported_models.html#supported-models)中找到。
這邊提及一下兩個初始化的參數 **`gpu_memory_utilization`** 和 **`max_model_len`**：
+ **`gpu_memory_utilization`**：GPU 記憶體中有多少比例（介於 0 和 1 之間）保留給模型權重、activations 和 KV cache。預設是 0.9，假設我的 GPU 記憶體是 24 GB，在初始化的時候會佔用 21.6 GB（24 * 0.9）。
+ **`max_model_len`**：模型最大的上下文長度，包括輸入的 prompt 長度和要生成的文本長度。假設該參數設為 50，而輸入的 prompt 長度是 40，則剩下最多 10 個 token 供生成使用。此參數也會影響 KV cache 的大小，如果值越大，使用的 KV cache 也越大，因此需要更多的記憶體。
```python
llm = LLM(model="model_16bit", gpu_memory_utilization=0.65, max_model_len=2000)
```
調用 **`llm.generate`** 以生成輸出。它將輸入 prompt 添加到 vLLM engine 的等待 queue 中，並執行 vLLM engine 以高吞吐量生成輸出。輸出作為 **`RequestOutput`** 物件列表返回，其中包含所有輸出 token。
```python
outputs = llm.generate(prompts, sampling_params)
# Print the outputs.
for output in outputs:
prompt = output.prompt
generated_text = output.outputs[0].text
print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")
```
輸出結果：
```
Processed prompts: 100%|██████████| 2/2 [00:00<00:00, 5.96it/s]
Prompt: '<|im_start|>user\nNext number of the fibonnaci sequence: 1, 1, 2, 3, 5, 8,<|im_end|>\n<|im_start|>assistant\n', Generated text: 'The next number in the Fibonacci sequence is 13.'
Prompt: '<|im_start|>user\n台灣最高的建築物是什麼？<|im_end|>\n<|im_start|>assistant\n', Generated text: '台灣最高的建築物是台北101'
```
## OpenAI-Compatible 伺服器
vLLM 可以部署為實作 OpenAI API 協定的伺服器。這使得 vLLM 可以用作使用 OpenAI API 的應用程式的直接替代品。預設情況下，它在 **`http://localhost:8000`** 啟動伺服器。您可以使用 **`--host`** 和 **`--port`** 參數指定位址。伺服器目前一次託管一個模型（下面命令中的 model_16bit）並實作 <a href="https://platform.openai.com/docs/api-reference/models/list" style="text-decoration: underline;">list models</a>、<a href="https://platform.openai.com/docs/api-reference/chat/create" style="text-decoration: underline;">create chat completion</a> 和 <a href="https://platform.openai.com/docs/api-reference/completions" style="text-decoration: underline;">create completion</a> 端點。vLLM 正在積極地增加對更多端點的支援。
啟動伺服器：
```bash
vllm serve model_16bit \
--host 0.0.0.0 \
--port 7788 \
--gpu-memory-utilization 0.65 \
--max-model-len 2000
```
預設情況下，伺服器使用儲存在 tokenizer 中預定義的聊天模板。您可以使用 **`--chat-template`** 參數覆蓋此模板：
```bash
vllm serve model_16bit \
--chat-template ./examples/template_chatml.jinja
```
該伺服器可以按照與 OpenAI API 相同的格式進行查詢。例如，列出模型：
```bash
curl http://localhost:7788/v1/models
```
您可以傳入參數 **`--api-key`** 或環境變數 **`VLLM_API_KEY`** 以使伺服器能夠檢查 header 中的 API key。
### 將 OpenAI Completions API 與 vLLM 結合使用
透過輸入 prompt 查詢模型：
```bash
curl http://localhost:7788/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "model_16bit",
"prompt": "San Francisco is a",
"max_tokens": 7,
"temperature": 0
}'
```
由於該伺服器與 OpenAI API 相容，因此您可以將其用作任何使用 OpenAI API 的應用程式的直接替代品。例如，查詢伺服器的另一種方法是透過 **`openai`** python 套件：
```python
from openai import OpenAI
# Modify OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:7788/v1"
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
completion = client.completions.create(model="model_16bit",
prompt="台灣最高的建築物是") # max_tokens 和 temperature 參數在此設定
print("Completion result:", completion)
```
### 將 OpenAI Chat API 與 vLLM 結合使用
vLLM 伺服器旨在支援 OpenAI Chat API，讓您與模型進行動態對話。聊天介面是與模型溝通的更互動方式，允許來回交流，並且可以儲存在聊天歷史記錄中。這對於需要上下文或更詳細解釋的任務非常有用。
使用 OpenAI Chat API 查詢模型：
```bash
curl http://localhost:7788/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "model_16bit",
"messages": [
{"from": "system", "value": "You are a helpful assistant."},
{"from": "human", "value": "台灣最高的建築物是什麼？"}
]
}'
```
:bulb:【Note】這邊要注意一下自己 tokenizer 定義的 chat template 長什麼樣，因為我之前訓練的資料集是使用 ShareGPT 格式，所以會發現 key 有點不一樣。
Python 客戶端範例：
```python
from openai import OpenAI
# Set OpenAI's API key and API base to use vLLM's API server.
openai_api_key = "EMPTY"
openai_api_base = "http://localhost:7788/v1"
client = OpenAI(
api_key=openai_api_key,
base_url=openai_api_base,
)
chat_response = client.chat.completions.create(
model="model_16bit",
messages=[
{"from": "system", "value": "You are a helpful assistant."},
{"from": "human", "value": "Tell me a joke."},
]
)
print("Chat response:", chat_response)
```
Sign in with Wallet
Connect another wallet