# Merge LLM
## Week 2B
----
## Mergekit
[Mergekit](https://github.com/cg123/mergekit) 可以將不同模型合併在一起
將日文模型與中文模型合併在一起
可以獲得一個會講中文跟日文的模型
----
## Setup
```bash=
conda create -yn Mergekit python=3.11
conda activate Mergekit
git clone https://github.com/cg123/mergekit.git .
pip install -e .
```
----
## YAML Config
```yaml=
base_model: Models/Llama2-13B
merge_method: slerp
slices:
- sources:
- model: Models/Llama2-13B-Jp
layer_range: [0, 40]
- model: Models/Llama2-13B-Tw
layer_range: [0, 40]
parameters:
t:
- filter: self_attn
value: [0, 0.5, 0.3, 0.7, 1]
- filter: mlp
value: [1, 0.5, 0.7, 0.3, 0]
- value: 0.5
dtype: float16
```
----
## Command
```bash
mergekit-yaml slerp.yaml Models/Llama2-13B-EnJpTw \
--cuda --lazy-unpickle --allow-crimes
```
`--cuda` 使用 GPU 進行合併，會比較快
`--lazy-unpickle` 可以減少記憶體使用量
`--allow-crimes` ~~允許犯罪~~ 可以合併不同架構的模型
{"title":"Week 2B - Merge LLM","description":"地獄貓旅行團第 43 週心得分享","slideOptions":"{\"transition\":\"slide\"}","contributors":"[{\"id\":\"c7cbb212-2c41-4dfa-8d85-f8e7fa769bf1\",\"add\":913,\"del\":0}]"}