---
title: 徐銘霞 Ming Hsia Hsu
tags: AI
---
{%hackmd HJ-2dtufR %}
# 徐銘霞 Ming Hsia Hsu

玉山銀行智能金融處 主任工程師
負責AI導入
可以叫她 GENIE 夫人XD

🎥 **[觀看回放影片。](https://videos.gaiconf.com/)**

## 金融服務建置生成式 AI 的困境與攻略

GENIE: 玉山的生成式AI平台

可以叫她 GENIE 夫人XD

世界經濟論壇預測
- 人力職缺減少
- 新職缺產生
- 作業效率提升


## 玉山生成式AI平台 -- GENIE

以 GENIE 作為玉山 OA 智能助理，打造玉山數位轉型的關鍵驅動力
- 重點特色
- 以對話形式溝通
- 結合玉山既有資料庫
- 資安風險加強把關

金融業非常非常非常非常注重客戶的資料
非常注重資料安全，尤其會運用到雲端資源
資料上有做特別的去識別化

客戶資料有去識別化後上雲

### 開發到上線時間軸

玉山在 2023/03 對高階長官 GAI 科普課程、成立全行 GAI 工作小組
成立全行工作小組（大型企業近萬人，每個部處有種子）

每個部處辦主題式 Workshop
邀請業務單位來做情境
讓他們了解技術，也可以知道什麼時間點推出
先試營運，看是否如所以為，是否有貼近需求，再微幅度調整
今年一月上線
- 應用情境（Genie 是通用型平台）
- 創意文字生成
- 文字潤飾
- 文字生成
- 翻譯

### Best Practice: 使用 RPA 方式來使用
爬對手的新聞判斷正負面，掌握對手的輿情。

### Genie 如何產出的
(求時間軸的圖，來不及拍)

1. 需要強力 Sponsor
- 長官也要有意識加入改變，喚起萬人意識
2. 試營運試水溫
3. 和大科技公司比拼技術有困難，應用是突破口
4. 金融業的顧客旅程為出發點發想應用場景

大家的運用大同小異，關鍵差異點就是在資料量

#### 收斂出長期願景

跟業務、跟應用結合

#### 為什麼選擇先做通用型的平台？
使用者還不知道自己需要什麼
4W1H
以終為始的第一步是什麼？

數位轉型層次：技術 -> 制度 -> 文化

就先挑一個來做，做了以後再回饋，就可以知道哪些是有機會再做更好或調整。

#### 誕生！

### 翻車事故

使用的人數只有總人數的 17.8%

**根因邏輯分析－GENIE使用量低的原因？**
1. 要推廣到整間公司（近萬人）是有難度的
2. 有人不需要這個東西（老闆！？）
3. 不會用
4. 會用但不滿意成果
5. 會用但沒有想要的功能

### 提升使用率解決辦法

#### 主題式課程
根據各個場景去設計課程

有些情境非常需要結合 RAG 去做，例如：人資、教育訓練相關。
玉山人的基本守則

有些使用場景很怪
【例】櫃台人員講話到一半 轉頭用手機問AI流程細節

有特定流程嵌入在服務中

發現使用量低後的改變
員工們已經很習慣現有的工作流程，要特別切換到 GAI 平台，又是一個學習成本。轉換平台的成本很高。

### GAI於玉山的應用

## 面對新未來 的 Cheatsheet

## FAQ
Q1. 金融資料跟醫療資料一樣匿名，但根據委員會資料規範需要簽署同意書，想問一下使用者都知道自己的資料被拿進去玉山訓練了嗎？

Answer: 使用者條款其實是有寫的喔 XD

Q2. 落地的開源模型還是用閉源線上服務加上一些限制？

Answer: 後者為主。地端處理之後，在傳到私有雲處理。
（不曉得是用ChatGPT or LLaMA)

Q3. 玉山有做到 LLMOps 在有新資料或是新模型架構時穩定的更新模型版本嗎？如果有的話，可以分享相關的架構嗎？

Answer: 會後跟大家分享，架構上是比較複雜的

Q4.將GENIE導入其它部門時，遇到最大的阻力是什麼？試用到正式是不斷地修正、測試，還是搜集資料後最後才一起修正？

Answer: 講的很想用，大家還是不去用。
不會/不習慣下prompt
邊蒐集邊修正

Q5. 除了使用者回饋，玉山高層如何衡量Genie的量化效益（如提升收益）

A：很少從直接收益切入，主要從減少人力工時開始看

Q6.編制與職能，怎麼說服長官
A.
團隊在平台產出的時候只有5人，還是兼著做的！
怎麼說服長官？因為還是有在做其他事，所以不難
跟軟體專案類似，專案管理人員、系統開發工程師，模型串接工程師，也有主管在看幫忙看架構。

### 聊天區
照片有狗勾給讚
科基超可愛的啦
>有隻超可愛的狗勾

置入式行銷 lol
>贊助商咩

聊天比筆記多 ＸＤ
ＸＤ

這些feedback好像 AI 生成的XD
超像

尾牙口號ＸＤ
七月肩膀重

金融業是沒辦法直接使用 GPT 才需要自己建立吧?
> 去識別化肯定需要客製
> 金融業會擔心內部的商業機密或顧客機敏資料被傳上去當成訓練資料，所以會有自行建置或是加上保護機制的需求

無形的朋友

隕石式開發 誰沒經歷過(淚
> +1 取暖樓蓋起來
我覺得現在內容多到也跟隕石沒兩樣

字好多…

我覺得不繼續用應該是單純有更好的服務可以替代吧？EX: ChatGPT

銀行內部不會開放使用ChatGPT吧

不過他提到的很多使用場景不會涉及個資問題吧？例如國定假日，活動規劃之類的。
感覺金融業做的模型應該專門for會涉及資料外流問題的，才需要自架解決？

資訊密度太高ＸＤＤ

想像很美好 現實很骨感

有人可以幫忙用 OCR 整理一下嗎 lol

有沒有人覺得現在二樓有點悶？感覺開始空氣有點稀薄
我以為說是因為她講太快太多，我頭暈哈哈
有，又開始悶了ＱＱ

玉山人的基本守則

簡報還有Cheat sheet 真佛

不含被delay的部分 時間控得蠻剛好的
就難怪要趕火車了ＸＤ

講者好像沒有聽懂開源和閉源的問題ＱＱ
>也有可能是閃避點滿ＸＤ
😂
我猜應該是拿LLaMa2來改
那感覺應該會直接回用開源模型？感覺這不是什麼羞恥的事？
會不會他也不知道現在run哪個模型😟

不過他有說是在自有雲🤔
> 自有雲也可以連外部AI吧？ Azure OpenAI可以申請商用的Key，記得是不會被拿去訓練的
> 如果是這樣，那蠻好笑的，哈哈，完全沒有解決資料外流問題
> 喔對～不過如果是這樣，那OpenAI的Team方案也是標明不會拿去訓練，感覺...可以直接替換掉...嗎？
> Team方案感覺擴充彈性比較低
> 沒辦法做RAG之類的？
> 很多公司應該是不准員工使用 openai 的東西的吧，不管是不是 team 方案
> 這就要看公司文化了
> 但我猜大家都偷偷用哈哈哈
> 就我所知，就連半導體產業的聯發科，也已經有自己一套，蠻成熟的GAI了
> 是自己Train一個大型模型嗎？還是拿開源去微調？
> 哈哈哈，畢竟真的好用
> 我之前有做過統計，6成以上員工都是自己偷偷用 Chatgpt

大家有看到簡報最後一頁很小的幾行字嗎 🤔

不要在最後一行打字 會打架ＸＤ 拍謝><