# 自 LLM 誕生的新 UX 模式，如何在現有軟體服務整合 copilot - kewang
{%hackmd @mopcon/rkdTi5NTR %}
> 從這開始

## 工商
[Funliday](https://www.funliday.com/tw)

## 重點摘要
* 整合 Copilot 模式整合到自己開發的軟體。
* 使用者 feedback
> 不看 coachmark
* 不知道如何停留時間
* 不知道如何移動景點
* 不知道如何交通方式
* Funliday Copilot 模式
* 幫助使用者更有效率地完成任務。
* 利用上下文判斷。
* 簡化作業流程。
* Funliday 實作 Copilot 模式原則
* 可以做到畫面上所有功能。
* 能自然延伸出較直覺的 UX 操作需求
* 透過與 Copilot 對話，發現新功能。 (「Copilot 是挖坑型 PM」)
* 「幫我把第三天移到第五天後面」。
* 「幫我把第三天與第五天交換」。
* Funliday 實作 Copilot 模式細節
* MSC（好心人可以換成更清楚的圖 😂）(看不到圖片 QQ)
* 根據印象（很粗略的）是這樣:
* user prompt msg
* msg to server
* msg to LLM(openAI)
* 判斷是對話
* 或判斷是 function
* function call to MsgQueue
* 丟給 server 執行
* socket io 通知 client 結果
* Funliday 實作 Copilot 模式注意事項
* LLM
* Function call
* Shift system prompt
* 自定義 context
* issue: context useless
* [Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku](https://www.anthropic.com/news/3-5-models-and-computer-use)
* 刪除動作需要 double check
* Socket.IO
* Client 要能分辨 Copilot
* 分別 emit
* 支援多動作
* 使用 Function call 可一次萃取多個任務。
* 前端難度：從原本一個任務變成 n 個任務，UI/UX 難度變高。
* 後端同時回傳多個任務給前端。
* 後端難度：同時支援新舊版的前端，同時回傳一個或多個任務。
* 結論（too fast to record 😂）
* Copilot 的整合帶來新行為與複合操作，豐富使用者體驗。
* 前端工程師需要設計直觀介面，以提升操作效率並避免使用者困惑。
* 後端工程師需要最佳化情境管理，確保 Copilot 即時精確回應多任務需求。

## 問答
- 是否有預計收費？
- 目前尚在開發中，收費與否還在內部討論中。
- 如何限制與降低 token usage？
- 還在測試，目前是先將前面的資訊移除（嘗試階段）。
- 也許把 5、6 輪對話前的內容先刪除。
- 是否嘗試過使用者提問的範圍（若提問與原服務不相關的內容，如翻譯文章）？
- 目前沒有，因為限制反而消耗更多的 token
- 引導聽眾去閱讀 iHower 文章或類似專注於 GAI 的專家。
- 如何記錄 User feedback？
- 讓使用者決定回應的好還是不好（類似 GAI Arena）。
- 這是還沒上線的階段，如何定義上線前的目標？
- 從 GA 挑出某些高度使用的功能
- 新發現的 UX