# Live Session 5 課前繳交作業

補充更多 User Story Mapping 的細節，並

- 訂出 POC 計畫
- 切出 MVP 方案
- 另外再切出至少兩個 Milestone。

# Use Case - From rule based recommendation to AI

[Use Case - From rule based recommendation to AI - HackMD](https://hackmd.io/@luluthejason/Bk77mFNFo)

提出需求的原因/目的/想達成的效果

- 原因：目前公司使用的rule-based推薦系統效果不佳，使用者歷程相關資料正在進行串接中，因此希望通過以AI為基礎的推薦系統，觀察使用者正在觀看的網頁內容(Content)，挖掘潛使用者的潛在興趣產品。

- 目的：希望能升級推薦系統，使用演算法參考網頁資訊進行推薦。

- 想達成的效果：提升公司廣告平台產品的推薦的點擊率與轉化率。

**需求單位期待的交付物，或需求單位期待如何使用這個服務/產品**

- 需求單位期待的交付物

- 一套content based的推薦系統，至少含有下述功能，並具有擴增Feature的能力。

- Machine Learning Training Flow

- Machine Learning Serving Flow

- Data(content) Ingestion/Transformation Flow

- Cache System for Serving

- Monitoring Dashboard

**需求單位期待如何使用這個服務/產品**

希望後端能無痛從rule-based服務方案切換至content-based的服務方案，獲得更準確的產品推薦結果。

範例描述: 在某情境下推給某使用者的內容推薦，每個內容推薦列表可能會被使用者點擊一個或多個的推薦。使用者(user_id)瀏覽網頁(document_id), 網頁有內容文章例如新聞。推薦曝光(display_id)發生在當使用者瀏覽網頁時被推薦多個廣告(ad_id)，每個廣告屬於一檔由廣告主(advertiser_id)所舉辦的廣告活動(campaign_id)。

------
以下為本次作業

資料三元關係

- 文章
- 標籤
- for文章and廣告商品
- 由內部標記服務完成
- 人
- ML model
- 廣告商品

# **PoC：商業想法在技術上是否可行？**

PoC目標

1. [BE]兼容現有BE/Data流程的推薦API
2. [Algo]AI推薦(Content Based)可行性
3. [DE]爬取網頁可行性, 爬取的網頁, 串貼標服務可行性

PoC Tasks/Stories

- [BE]建置與現有(Rule-Based推薦), 相同/相容的API
- [Algo]使用可行的單一Content-based推薦系統/模型/演算法 進行推薦內容生產
- [BE/DE]簡易部署content-based推薦系統/模型/演算法以提供API使用
- [BE/DE] 爬蟲爬取Client網頁

PoC Evaluation

- 利用PostMan測試是否能提供服務

Note: 演算法部分可能先用graph based建立兩種bipartite graph

1. paragraph-tag graph
2. product-tag graph
3. 流程:paragraph-tag graph⇒產生tags⇒product-tag graph⇒產生products

# **MVP：產品是否適合市場並滿足潛在使用者的需求？**

使用者

- 原串接rule based推薦的團隊

MVP核心價值
- 主要
- 以AI為基礎的推薦系統
- 次要
- 無痛從rule-based服務方案切換至content-based的服務方案
- response time維持近似時間 (誤差10%內)
- NOTE: 可以先以monolithic而非micro service進行
MVP目標

- 完善PoC產出物
- 部署/上線優化後的PoC的產出物

MVP Tasks/Stories

- [BE] 串接content-based的服務方案
- [DE] 建立爬蟲pipeline
- 爬蟲爬取→Data Lake
- Data Lake→通過文章貼標服務進行文章貼標→儲存
- [Algo] 建立train/retrain流程
- [DE/Algo] 建立推薦方案ServingFlow
- [BE] 壓測以確保與現有服務有近似效能

MVP Evaluation, Verification and validation

- 上線後A/B test確認服務穩定性是否與現行服務指標雷同
- ~~上線後A/B test確認服務是否有帶來CPC, CTR等指標提昇~~ 這不是這MVP該要做的

# Milestone

「讓產品能運作」⇒「讓產品變成可釋出」⇒「讓產品更好」⇒「這些會讓產品更上一層樓，但可能沒時間實作」

Note: 也可以是「讓產品能運作」⇒「讓產品更好」⇒「讓產品變成可釋出」⇒「這些會讓產品更上一層樓，但可能沒時間實作」

**Minimal Marketable Product(MMP)**

**保有最小量而適切的功能需求產品，可以滿足用戶基本需求和體驗**

Milestone預期分階段解決以下問題

### Algo

- Cold Start
- 如果paragraph萃取出的標籤與product交集不足, 沒有交集怎麼辦?
- 如果product萃取出的標籤與paragraph交集不足, 沒有交集怎麼辦?
- Click stream 問題
- Click Stream資料多部門之間正在串接中, 推薦系統利用click stream資料進行推薦
- CTR提升

### BE

- Auto Scaling
- Health Monitoring
- A/B Testing Deployment

### DE

- Metrics Monitoring Flow
- Better crawling quality
- Faster crawling speed

### Milestone 1 : 更穩定的服務

能穩定使用AI演算法進行推薦

Algo : 減少cold start問題(減少corner case導致回頭使用rule base)

BE: Auto scaling(應付巔峰承載, 避免time out而回頭用原本rule based進行推薦), A/B Testing Deployment

DE: Faster crawling speed (能更快地爬取內容並讓推薦系統進行學習與推薦)

### Milestone 2 : 更優質的推薦內容

Algo : 更新推薦模型讓CPC, CTR 提升

BE:

DE: Better crawling quality(減少noise data)