[TOC]
### 關於自我訓練 (self-training/self-generated data)

* 現代語言模型幾乎都有採用的機制。由模型自問自答，再將這些對話作為訓練樣本繼續訓練，這些回答通常會經過評審模型或人工篩選出正確或有用的。或者也可使用 knowledge distillation 從大模型訓練出小模型。

* 模型自己合成的資料可以用於自我評估與修正 (reflection, 回答後自己檢查正確性)，也可以生成任務大綱或生成多個回覆給人類挑選，作為模仿人類深度思考過程的依據 (後續研究嘗試推進到 tree of thought, 遞迴/多路徑嘗試)

* 模型自我訓練的優點:
>可生成大量高品質訓練資料 (人類專家的對話資料非常寶貴)

>延長推理鏈，模擬人類的深度思考 (多回答挑選、分步驟解答等)

>提升模型的指令服從能力

* 模型自我訓練的缺點:
>強化既有偏見，回答復述機率提高 (重複鬼打牆)

>內容平庸與空洞化，只給出安全的答案

<hr>

### 關於幻覺 (hallucination)
幻覺指的是模型輸出與不正確或邏輯不一致的內容。幻覺現象可區分為抽象幻覺 (邏輯錯誤、推論跳躍) 與具體幻覺 (虛構引用資料、錯誤事實)。

* 即使引入 RAG，只是加強事實檢索能力，實際上模型還有很多操作空間 (任意排列組合檢索內容、檢索不到就憑空捏造、輸出語句中做不當的額外填補/過度推論)。語言模型天生就有填空的本質，因此在資料不足的情況下，傾向產生合理但不實的語句。

<hr>

### 關於記憶能力

現代語言模型的記憶能力主要可區分為
* 短期 (context window):
>來自同一個對話先前的內容，長度受限於 transformer 架構與硬體資源。由於注意力機制的運作特性，即使有無限大的算力還是無法無限延長 context length。
* 長期 (persistent memory):
>為模型可持續追蹤與調用的知識或使用者資料，通常透過外掛記憶模組 (memory module) 從先前的其他對話儲存記憶，或外接資料庫來檢索 (RAG)。

* 實作記憶功能的優點
>增加對話前後一致性

>記住使用者偏好

* 缺點
> 占用 prompt 容量

> 記憶衝突與覆寫 (同級記憶以及長/短期記憶之間皆會發生)

<br>

* 案例 1 (與先前對話衝突)<br>

* 案例 2 (與長期記憶衝突)<br>

<!-- <br>
<hr>
<br>

### 工作區

[https://medium.com/seaniap/ai%E8%BC%B8%E5%87%BA%E7%9A%84%E8%AA%BF%E7%AF%80%E8%A1%93-%E4%BA%86%E8%A7%A3openai%E7%9A%84temperature%E8%88%87top-p%E5%8F%83%E6%95%B8-d849e29dc505] -->