---
GA: UA-34467841-15
---

# 從prompt engineering 升級至context engineering - 尹相志

###### tags: `HelloWorld2025` `HWDC2025` `2025` `ABCDEF 會議室` `AI 開發工具實戰和流程改造`

<blockquote>
將會從語言模型的任務:上下文學習，來看會有哪些的上文需要納入，同時如何將上文內容進階至記憶管理，以及如何規劃AI產品的語境工程(context engineering)，以及在Agentic AI興起的現在，語境工程會有什麼樣的新的挑戰與考量。

聽眾收穫：

理解語境工程以及其任務內容

掌握agentic AI下的語境工程的將會面對的新挑戰

如何規劃AI產品的語境工程
</blockquote>

{%hackmd @HWDC/announcement-2025 %}

## 會議資訊

**時間：** 09:05 ~ 09:35
**地點：** ABCDEF 會議室
**日期：** 2025年10月14日
**語言：** 中文
**難度：** 通識

**相關連結：**
- [Hello World Dev Conference 2025 官方網站](https://hwdc.ithome.com.tw/2025) [target=_blank]
- [Hello World 2025 議程表](https://hwdc.ithome.com.tw/2025/agenda) [target=_blank]

## 筆記區

語言模型是上下文的產物
提示工程（prompt）關於我們如何對機器說人話
語境工程（context）關於我們要讓語言模型看哪些內容

前者是表達的形式，後者是表達的內容

AI本身是無狀態的（每一次都獨立），所以必須把過去的內容用暴力的方法一起提供，會有辦法「記憶」過去的對話與結果。

### LLM記憶系統架構
> 不需要每一次累積大量的session

RAG與記憶系統的差別是，後者是有狀態的，但前者只是把過去這件事搜尋出來，但是無關乎現況。

RAG會脫離時間順序（只跟向量關聯有關），但是記憶有時序關係，以及因果關係。

### 記憶機制
* Session記憶
* 短期記憶
* 長期記憶

- 時序的記憶不適合用向量處理
- GraphRAG 可能可以用來處理

小技巧：篩選、裁切，不是暴力撈出來全丟進去，因為節省Token 很重要！

大海撈針的問題：雖然一百萬token綽綽有餘（哈利波特全集1.4M token），但不保證放進去就能讀到，要做`記憶壓縮`！

### 負案例管理
> 每個詞彙都可能有不同的語境（ex: apple 可能是水果也可能是蘋果公司）
範例：
1. 丟「波蘭」與「捷克」，結果高關聯的是所有東歐國家
2. 丟「人民幣、美元」，所有的幣別都是高關聯
3. 丟「香蕉」、「蘋果」，結果除了水果也跑出蘋果公司，小米，黑莓
4. 丟「香蕉」、「蘋果」，加上負案例：「微軟」，把科技公司篩選掉，產生的結果更聚焦於水果



> 公式 ： 正案例 - 負案例 ~= 更精準的答案

### 上下文壓縮

定期把上下文做重啟（避免多輪對話產生的誤差），並可以轉移到下一次做使用

重啟的提示詞，如果使用「筆記」的效果要比「摘要」更好（筆記的內容會多大概 30%），使用「摘要」要比不使用更好。
(Prompt Engineering here)

### 成本：提示詞快取

順序很重要，因為有Prompt Caching，越不會變動的要盡量往上堆

要求Cache Write可以省錢！（但不一定每個模型服務都有提供）

## 討論區

> 歡迎在此進行討論與 Q&A

Prompt Caching 會影響回答品質？只影響速度跟錢吧？

如何持續建立良好的 Caching ?

如何移除不良的 Caching ?
> 何謂不良的 caching ? 只有不良的 prompt/context, 沒有不良的 caching

如何強制要求語言模型進行快取？有辦法透過提示詞要求嗎？
> Claude -> 可以經由 API
快取跟模型運作機制有關，模型本身沒辦法透過提示詞改變自身運作機制，所以沒法透過提示詞叫模型快取

感覺內容有點意猶未盡，時間太短了

## 相關資源

- 投影片連結：[(課程投影片)](https://1drv.ms/b/c/1f8aae2a7f578eca/EayA0IrB5yBDvy_nJ_-7QtoBognvautJBmGDCE4Mr4PSZQ?e=bYw3w4)
- 相關文件：(待更新)