# GPT-NEO AI 模型 研究

### 基本資料

- **開發公司** :
EleutherAI （非營利開源研究組織）

- **開發初衷** :
由於 OpenAI 在 GPT3.0 後採封閉政（GPT1、GTP2 仍然為開源項目），EleutherAI 反對 OpenAI 的壟斷，致力於免費讓每個人都能用到開源、效果比擬 GPT3.0 的 NLP 生成式 AI

- **發行時間** :
2021 年 3 月

- **計算空間** :
使用了 TPU Research Cloud (TRC) 的空閒計算。 TRC 作為 Google Cloud 的項目向研究人員免費提供，期望研究結果將通過開放源代碼、模型等與世界共享

- **訓練資料** :
在 Pile 上訓練，Pile 是 EleutherAI 為了特定的訓練任務而創建的一個大規模資料集，資料庫包括 825 GB 的「英文」文本，除了既定的文本數據集，它還包括書籍、 github 資源庫、網頁、 IRC 聊天記錄以及醫學、物理學、數學等等...
- **公司產品** :
GPT-J、GPT-NEOx

---

### 比較

:::info
**1 / 參數數量比較**
:::


GPT-Neo 模型由 27 億個參數組成。GPT-3 API 的 4 種模型參數從 27 億到 1750 億不等。

:::info
**2 / 基準測試**
:::


65 倍多參數的 GPT-3 Davinci 輕輕鬆鬆打敗 GPT-NEO，客觀上來說 NEO 輸了，
但直接去人工審查 NLP 的成果發現 GPT-NEO 並不會遜色多少

---

### 補充

:::success
**1 / GPT-NEO 中文訓練語料**
:::
資料 Link : [Modelscope](https://modelscope.cn/models?name=gpt&page=1)

:::success
**2 / 同類產品 GPT-J**
:::
模型 Link : [EleutherAI/gpt-j-6B](https://huggingface.co/EleutherAI/gpt-j-6B)
新聞 Link : [能與 GPT-3 相媲美？ EleutherAI 開源 GPT-J](https://www.51cto.com/article/673057.html)

- 基於 GPT-3
- 總參數達 6B （60億）個
- 與 GPT-Neo 模型相比，GPT-J 的訓練效率提高了 125%

:::success
**3 / 同類產品 OpenChatKit**
:::
模型 Link : [togethercomputer/OpenChatKit](https://github.com/togethercomputer/OpenChatKit)
測試 Link : [huggingface/togethercomputer/OpenChatKit](https://huggingface.co/spaces/togethercomputer/OpenChatKit)
新聞 Link : [ChatGPT開源替代來了！參數量200億，在4300萬條指令上微調而成](https://finance.sina.cn/tech/2023-03-13/detail-imykszmc5558358.d.html)
- 基於 GPT-NeoXT-Chat-Base-20B
- 總參數達 20B （200億）個，並針對 4300 萬條指令做訓練
- 客製化 : 提供了方式為專門的應用微調模型 (recipe)。幫他們為各種任務創建客製化的模型
- 可擴充 : 可擴充的系統可以讓你在使用時可從文檔資料庫、API或其他即時更新資訊源加入資源
- 短版 : 較缺乏創意與美學等等，OpenChatKit 不太會編撰故事、歌詞等寫作、也不太會寫程式
- ==感覺最適合做為聊天機器人的模型==

---

### 參考資料

1. [如何申请Google TRC项目，领取免费的Cloud TPU计算资源](https://zhuanlan.zhihu.com/p/538493610)
2. [EleutherAI 推出 200億參數的類 GPT 模型：不像 GPT-3，它免費開放](https://cloud.tencent.com/developer/article/1963014)
3. [GPT-Neo 如何在不同的任務中使用](http://www.cheeli.com.cn/articles/how-gpt-neo-can-be-used-in-different-tasks/)
4. [ChatGPT替代品OpenChatKit來了！由前OpenAI團隊打造，在GitHub上開源發表](https://www.techbang.com/posts/104629-chatgpt-open-source-is-here-out-of-the-box-founded-by-the)

###### tags: `Lab 研究` `AI Research`