自 LLM 誕生的新 UX 模式，如何在現有軟體服務整合 copilot - kewang

歡迎來到 MOPCON 2024 共筆

Image Not Showing Possible Reasons

The image file may be corrupted
The server hosting the image is unavailable
The image path is incorrect
The image format is not supported

Learn More →

共筆入口：https://hackmd.io/@mopcon/2024
手機版請點選上方按鈕展開議程列表。

從這開始

工商

Funliday

重點摘要

整合 Copilot 模式整合到自己開發的軟體。
使用者 feedback

不看 coachmark
- 不知道如何停留時間
- 不知道如何移動景點
- 不知道如何交通方式
Funliday Copilot 模式
- 幫助使用者更有效率地完成任務。
- 利用上下文判斷。
- 簡化作業流程。
Funliday 實作 Copilot 模式原則
- 可以做到畫面上所有功能。
  - 能自然延伸出較直覺的 UX 操作需求
- 透過與 Copilot 對話，發現新功能。 (「Copilot 是挖坑型 PM」)
  - 「幫我把第三天移到第五天後面」。
  - 「幫我把第三天與第五天交換」。
Funliday 實作 Copilot 模式細節
- MSC（好心人可以換成更清楚的圖 😂）(看不到圖片 QQ)
  Image Not Showing Possible Reasons
  - The image was uploaded to a note which you don't have access to
  - The note which the image was originally uploaded to has been deleted
  Learn More →
- 根據印象（很粗略的）是這樣:
  - user prompt msg
    - msg to server
    - msg to LLM(openAI)
      - 判斷是對話
      - 或判斷是 function
        
        function call to MsgQueue
        
        丟給 server 執行
        
        socket io 通知 client 結果
Funliday 實作 Copilot 模式注意事項
- LLM
  - Function call
  - Shift system prompt
  - 自定義 context
    - issue: context useless
      - Introducing computer use, a new Claude 3.5 Sonnet, and Claude 3.5 Haiku
  - 刪除動作需要 double check
- Socket.IO
  - Client 要能分辨 Copilot
  - 分別 emit
- 支援多動作
  - 使用 Function call 可一次萃取多個任務。
  - 前端難度：從原本一個任務變成 n 個任務，UI/UX 難度變高。
  - 後端同時回傳多個任務給前端。
  - 後端難度：同時支援新舊版的前端，同時回傳一個或多個任務。
結論（too fast to record 😂）
- Copilot 的整合帶來新行為與複合操作，豐富使用者體驗。
- 前端工程師需要設計直觀介面，以提升操作效率並避免使用者困惑。
- 後端工程師需要最佳化情境管理，確保 Copilot 即時精確回應多任務需求。

問答

是否有預計收費？
- 目前尚在開發中，收費與否還在內部討論中。
如何限制與降低 token usage？
- 還在測試，目前是先將前面的資訊移除（嘗試階段）。
- 也許把 5、6 輪對話前的內容先刪除。
是否嘗試過使用者提問的範圍（若提問與原服務不相關的內容，如翻譯文章）？
- 目前沒有，因為限制反而消耗更多的 token
- 引導聽眾去閱讀 iHower 文章或類似專注於 GAI 的專家。
如何記錄 User feedback？
- 讓使用者決定回應的好還是不好（類似 GAI Arena）。
這是還沒上線的階段，如何定義上線前的目標？
- 從 GA 挑出某些高度使用的功能
- 新發現的 UX