# DB-GPT

## 通常的 LLM 框架是什麼?

## 提示生成
- **大型語言模型反饋提示產生器（藍框）**：
- 提示產生器（藍框）從 **指令** 和 **示範範例** 提供內容，幫助 LLM 生成結果。

## 大型語言模型微調
- **增強數據樣本**：
- 提供標記數據給 LLM，促使結果更加細緻。

## 特定的數據庫 LLM 預先訓練
- 使用 **隱私保護框架** 提取數據庫內容。


* 來源:第八段(圖2)
---

## 這篇論文試圖解決什麼問題？

### 提供提示生成方法
1. 自動選擇合適的任務指令。
2. 使用 **強化學習模型（RL 模型）** 有效選擇演示範例。
3. 在 **提示長度** 和 **LLM 性能** 之間進行權衡，降低模型推理成本。

### 提供模型微調方法
1. **非文本數據嵌入**。
2. **低質量數據樣本的註釋**。
3. **對比學習**：用於額外樣本生成。
4. **Delta Tuning**：減少可調網路參數數量，同時實現類似性能。

### 設計和訓練特定於數據庫的 LLM
1. **有效性檢查**：確保 LLM 輸出有效。
2. **學習結構資訊**：從大量數據庫日誌中提取結構特徵（例如工作負載、優化操作、結果數據等）。
3. **聯邦學習**：在訓練 LLM 時保護數據隱私。
* 來源:第三段