# AI社會
## 沙盒論文重點摘錄
###### tags: `note` `nothing`

> [time=Fri, May 26, 2023 7:38 AM]
> [name=icedpoker]
>
> [color=#0e0682]

### 角色創造 generative agent
1. 為角色做一個背景摘錄
2. 將角色要做的行為簡化成表情符號
3. 玩家可以與角色溝通
4. 角色會針對環境有所回應（玩家介入
5. 消息會透過角色與角色擴散
6. 角色會記憶他們之間的關係
7. 角色會溝通協調（派對

### 記憶串流 memory stream
1. 頻率 recency
> 給予最近常喚起的記憶一個更高的分數，使其更容易被注意
2. 重要性 importance
> 透過CHATGPT給予每個行為一個評分，重要的高分，不重要的低分
3. 相關性 relevance
> 檢查過去記憶與現在話題的關聯性，並以此提取記憶

### 反思 reflection
1. 問題點：
1. 原始的觀察記憶會讓角色很難進行歸納（理想反應是要求角色做出更高層次反映
2. 新增一種記憶形式，稱為反思，是一種更高層次的記憶
3. 給予語言模型一百條角色最近的記憶，並以此要求模型提出問題來歸納記憶，形成反思作為檢索的查詢途徑

## 問題點
1. 過多使用gpt，成本高
2. 記憶以文字為媒介，量大的時候很難處理

## 同類型語言模型AI

### 派蒙AI
1. 透過CHATGPT、BERT、VITS、UE5做出這個AI

2. 首先進行語音識別（阿里達摩院），將使用者對話轉成文字並交給CHATGPT回答，並透過VITS進行語音輸出

3. 透過BERT進行情緒識別，UE5作為前端來表演動作

4. 可以透過chatgpt的cookie來在python裡面調用，或者透過CHATGPT的API來執行程式

5. 利用bert的變形版pert來進行情緒解析，對應六個情緒，再以此讓派蒙演出動作。並有待機動作的設計

6. 問題點：
> 1. 對話不具備關聯性
> 2. 沒有長期記憶
> 3. 回答不夠人性化

### 活的長安城
1. 透過gaea系統來實現AI式的一個人類社會，系統總共分成兩大部分，分別是環境系統和靈魂系統

2. 環境系統由社會環境和物理環境組成。物理環境是建築之類，社會環境則是記錄NPC們交互行為的一個大型記憶庫，讓GAEA系統得以建立。其具備人類的社會常識

3. 靈魂系統由上下兩層模型組成，上層是內在動機，下層則是一個符號系統建模的多任務模型。透過上層的宏觀角度制定策略，負責驅動下層的行為決策

4. 上下模型都依靠記憶來作用。記憶又分成內在狀態和個體記憶庫。內在狀態代表的是NPC現在的心情數值變化，個體記憶庫則是他過往經歷的集合


5. 使用LLM大型語言模型來進行整個靈魂系統的構建，包括上層的目標決策，社會環境的意識反饋和常識推理，並結合他們自行研發的chatbot來進行優化，提升NPC的對話行為技能

### 製作場景及玩家
1. [making backgrounds with chatgpt in Unity](https://www.youtube.com/watch?v=pXnIyRILSkg)

2. [Crazy AI Tech Allows ANYONE To Build 3D Games](https://www.youtube.com/watch?v=qEY488zCmTw)

3. [making characters in inworld](https://www.youtube.com/watch?v=KeFAbIjd0GQ)

4. [背景生成：blockade labs](https://skybox.blockadelabs.com/)

5. [Making NPCs with ChatGPT in Unity 1:17:37](https://www.youtube.com/watch?v=Cg4k-XPBC2Q)

### resource
[OpenAI-Unity github](https://github.com/srcnalt/OpenAI-Unity)

### AI製作流程圖