# 《運用Semantic Kernel SDK 駕馭生成式AI應用的提示工程(Prompt Engineering)》 / 陳葵懋 (Ian Chen)

{%hackmd @ModernWeb/SyA2U6SmT %}

> 共筆請從這開始

## Generative AI - Prompt

gpt 4 turbo 幻覺比較少

### Good Prompt

- 具體明確：明確表達你想要詢問的問題或希望進行的討論。幫助模型理解你的需求。
- 簡潔直接：prompt本身應該避免冗長和不必要的廢話。
- 避免歧義：使用清晰的語言避免多義性或模稜兩可的表達。
- 拆解任務：step by step 的引導，會比一次性問好問滿來得有效。

### If we want to develop our own ChatGPT

- 使用者介面：
- command -> prompt
- prompt engineering
- LLM 的挑戰：
- 通用知識的更新
- 推理的挑戰性
不擅長推理，需要使用 prompt 技巧
- 私有知識的學習

不能期待每個使用者都具有良好的 prompt 技巧，於是在應用中開發者可以調整使用者輸入的 prompt 並調整為更適合 GPT 接收的 prompt

- 開發層面的挑戰：
- 將 Prompt 融入程式碼（面向語義的開發）
- 不同應用場景，prompt的內容也需要改變。沒有一個prompt是萬能的
- 外接企業私有資源庫
- 整合外部服務
- 長短期記憶/檢索(使用向量資料庫精準搜尋)。模型本身沒有記憶能力，之前都是一來一往的，GPT 現在可以幫你記憶了
- 面向不同的GPT模型(圖像生成, 文字生成, 程式碼生成...)

## Semantic kernel overview
- Open source SDK
- Use common LLM AI coding pattern
- Use pre-build plugins and connectors
- Cross multiple models

1. models and memory
2. connectors
3. semantic kernel
4. plugins：幫模型裝上外掛武器，讓他具備比較特殊的能力。
5. triggers and actions

### The Semantic Kernel modules

- Kernel：semantic kernel的核心組件
- Plugins：一或多個能力的集合。直白來說就是寫好的function，writerplugin:
- translate
- gen email
- style rewrite
- Connectors：連接外部資源或服務
- Bing Search
- Google Search
- Planner：根據目標（goal），建立工作流程對其進行操作，執行計畫是一連傳 function 的組合，進而產生結果
- Memory:
- 記憶Semantic memory, localstorage 實現長短期記憶能力
- embedding

#### Semantic Kernel - Plugins
在Plugin裡面有兩種

**Semantic Function**
semantic function用語意的方式去驅動chatGPT，一切透過文字的方式產生
依賴prompt

**Native Function**
以程式語言建構而成，用於提供LLM模型本身無法具備的能力。
ex: 模型本身沒有時間，只能透過程式回答

所有得一切源自於提問

## Demo

### write email

透過semantic function去呼叫native function

### Sequential Planner

他會依照我賦予他的能力，完成我的目標

### Retrieval Augmented Generation

檢索增強生成
因為模型本身沒有我的data，想請他參考後生成最後的內容
user->prompt(question, vector storage -> context)->LLM api endpoint -> 未完

demo:把發問的韓文翻譯成中文去跟我向量資料庫比對後找到相對的中文後再翻譯成韓文回傳給使用者

https://github.com/iangithub/sklearn/tree/main/MWC-2023

------
> 聊天室在此

人有點少？
> 我說線上的

想請教各位會擔心將source code提供給ChatGPT，是否會擔心source code流出？
> 被參考是code寫得好
> 公司才會擔心？商業模式的部分吧
>> 資安的問題？
>>>確實會擔心商業模式流出

感謝貼圖的大大
> 好奇圖哪裡來的
谷歌關鍵字

https://ithelp.ithome.com.tw/users/20126569/ironman/6022
講師的鐵人賽
> cool
> 33頁，講得完嗎
> > 有提供 ppt 一切好說(X

> 是我的錯覺還是我只有看到餵完 openAI 的 output
> 我比較想看出經過 SK 後的 prompt 長相
> > 是可以的，只是今天沒安排demo這一段
> > > 喔喔，感恩～

> 今天的簡報 : https://www.canva.com/design/DAFzd2buj8M/4wmEWbRGLVY_M_T0f2kADQ/edit?utm_content=DAFzd2buj8M&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton
>