---
tags: Capstone
---

# 玉山A組Assignment 1: 商業問題釐清
110-2 Capstone
組員: 劉孟頡、劉益君、洪廷維、葉春頡、蔡淑宜、曹子泓

## 一、研究國內外推薦系統模型如何應用
推薦系統是一種資訊過濾技術，用於呈現使用者可能感興趣的資訊（影片、音樂、書籍、圖片、網站等），以便從中做出適合自己的選擇。推薦系統的目的與相關應用敘述如下：

### (一) 目的
#### 1. 吸引新客戶
在大量的顧客群體中，找出那些最有可能成為客戶的人，以針對這些顧客提供具體的產品建議。例如財富顧問公司可以針對對特定財富水準的客戶，提供最適合他們的產品，使其達成財富規劃。

#### 2. 交叉銷售/向上銷售的機會
在同一客戶的不同年齡階段中，可以推薦額外的產品或服務，如信用卡、支票或儲蓄帳戶、投資帳戶、貸款/信用額度、遺產規劃和稅務規劃。

#### 3. 協助消費者在大量資訊中，減少搜查時間，更快找到其喜歡的產品，進而提升顧客滿意度

### (二) 國內外應用
#### 1. Netflix
以全球龍頭影音串流平台Netflix為例，Netflix擁有上萬部影集，每當用戶在主頁尋找感興趣的內容時，主頁所推播的影集可能來自相似族群用戶觀看過的影片推薦（協同過濾系統）；或與觀影紀錄相似類型的影片推薦（內容過濾系統）。

#### 2. Spotify-「每周探索」
每個週一早晨，Spotify會送給聽眾三十首歌的播放清單，這些歌曲很神奇地符合聽眾們的喜好。這個播放清單稱為「每週探索」（Discover Weekly），也成為熱門話題。
「每週探索」的演算法是先查看兩項基本資訊。第一，它會先看使用者喜愛程度高到會加入到音樂庫或者是播放清單的所有歌曲。這個演算法甚至聰明到可以知道，使用者是否在播放的前三十秒就已經跳過該首歌曲，這代表使用者可能不喜歡這首歌曲。第二，演算法會看其他人所製作的所有播放清單，同時假設每個播放清單都有主題關聯，比如使用者可能會有「跑步」或者是「披頭四即興演奏」播放清單。
當Spotify有了這些資料，就利用這兩個方式找到使用者可能喜歡的歌曲。第一個方法是比較上述的兩個資料集（dataset），找到符合使用者喜好的新歌。例如，有個使用者的播放清單有八首歌曲，而當中的七首有在你的音樂庫，他們判斷你可能喜歡這類型的歌曲，所以「每週探索」就推薦那首不在你音樂庫的歌曲。

#### 3. 台大醫院健檢管理及自動判讀系統

##### (1) 作業模式
* 依據性別推薦健檢方案
* 體檢及資料輸入
* 健檢資料自動判讀
* 檢查資料完整性
* 醫師修改健檢報告
* 病患上網定期追蹤

##### (2) 健診報告診斷及建議
* 特定疾病須定期追蹤: B型肝炎每半年追蹤
* 依據疾病有相對的建議: 高血脂注意飲食

### (三) 效益
提升顧客滿意度/降低顧客流失率 (改善顧客體驗)。
#### 1. 針對客戶滿意度進行相關的調查、衡量與分析，以確定待改進的部分。
#### 2. 以金融業為例，銀行可透過提供直接存款或自動支付帳單等服務，減輕透支帳戶或錯過帳單支付的風險。除此之外，銀行還可以提供顧客獎勵，以鼓勵他們參與忠誠度計劃。
#### 3. 企業得以接收到顧客流失的早期預警訊號。

## 二、推薦系統原理
### (一) 隨機推薦
在某些環境下隨機推薦就可以有一定的成果。特別是如果再採用部分已知特徵後（作者、類別、品牌等），可能會得到很不錯的效果。是一個成本極為低廉的優質方案。
### (二) 依照熱門排序
透過熱度或者點閱率等等方式來直接推薦商品，對於某些時效性議題或商品 非常有效。可能直接透過簡單的group by demographic，就可以得到一個不錯的初始效果。

### (三) Content-based filtering我
針對產品內容進行分析推薦，有時候像是針對Cold start問題 (全新商品，沒有使用者回饋)，是有良好的效果。因為針對新的商品，你還是會有商品屬性等等。你就可透過這些商品屬性分析去歸類及推薦。而像是以Content-based filtering很常看到的就是利用商品屬性matrix，利用相似度進行計算分析。最後的結果通常可解釋性的也較高。或者是在廣告的推薦上，可能就是利用一些廣告特徵直接預測點擊率。在這種方法中，過濾是基於用戶的購買歷史，而不是基於類似用戶的偏好。例如，以Netflix爲例，讓我們考慮用戶1在Netflix的所有其他電影類別中更喜歡動作和愛情電影。Netflix將向用戶1推薦與該用戶偏好相同類別的電影和電視節目 - 即動作片和愛情片。換句話說，這種方法不再依靠其他用戶的意見來向用戶1進行推薦，而是依靠用戶1的購買歷史。
### (四) Collaborative Filtering 我
透過演算法找到類似的用戶，並根據類似用戶的評分來計算商品分數。它著重於用戶之間輪廓和偏好的相似性，而不對感興趣的商品給予重視。針對像是想要推薦 "買了什麼東西，還會買什麼東西" ，這樣的情境，而這樣的情境其中一種解決方案就是使用協同過濾。而協同過濾可分為兩類演算法 Model-based (Ex: LSTM)以及Memory-based ( Ex: User-based or item based)。
#### 1. Memory-based
##### (1) 基於使用者（User-based）的協同過濾
用相似統計的方法得到具有相似愛好或者興趣的相鄰使用者，所以稱之為基於使用者的協同過濾。方法步驟如下：

###### A. 收集使用者資訊：
收集可以代表使用者興趣的資訊。一般的網站系統使用評分的方式或是給予評價，這種方式被稱為「主動評分」。另外一種是「被動評分」，是根據使用者的行為模式由系統代替使用者完成評價，不需要使用者直接打分或輸入評價資料。電子商務網站在被動評分的資料獲取上有其優勢，使用者購買的商品記錄是相當有用的資料。

###### B. 最近鄰搜尋(Nearest neighbor search, NNS)：
以使用者為基礎（User-based）的協同過濾的出發點是與使用者興趣愛好相同的另一組使用者，就是計算兩個使用者的相似度。例如：尋找n個和A有相似興趣使用者，把他們對M的評分作為A對M的評分預測。一般會根據資料的不同選擇不同的演算法，目前較多使用的相似度演算法有Pearson Correlation Coefficient、Cosine-based Similarity、Adjusted Cosine Similarity。

###### C. 產生推薦結果
有了最近鄰集合，就可以對目標使用者的興趣進行預測，產生推薦結果。依據推薦目的的不同進行不同形式的推薦，較常見的推薦結果有Top-N 推薦和關聯推薦。Top-N 推薦是針對個體使用者產生，對每個人產生不一樣的結果，例如：透過對A使用者的最近鄰使用者進行統計，選擇出現頻率高且在A使用者的評分項目中不存在的，作為推薦結果；關聯推薦是對最近鄰使用者的記錄進行關聯規則(association rules)挖掘。

##### (2) 基於專案（Item-based）的協同過濾
該技術所依據的基本假設是「能夠引起使用者興趣的項目，必定與其之前評分高的項目相似」，即通過計算項目之間的相似性來代替計算使用者之間的相似性。方法步驟：

###### A. 收集使用者資訊
同以使用者為基礎（User-based）的協同過濾。

###### B. 針對項目的最近鄰搜尋：
先計算已評價項目和待預測項目的相似度，並以相似度作為權重，加權各已評價項目的分數，得到待預測項目的預測值。例如：要對項目A和項目B進行相似性計算，要先找出同時對 A 和 B 打過分的組合，對這些組合進行相似度計算，常用的演算法同以使用者為基礎（User-based）的協同過濾。

###### C. 產生推薦結果
以項目為基礎的協同過濾不用考慮使用者之間的差別，所以精度比較差。但是卻不需要使用者的歷史資料，或是進行使用者識別。對於項目來講，它們之間的相似性要穩定很多，因此可以離線完成工作量最大的相似性計算步驟，從而降低了線上計算量，提高推薦效率，尤其是在使用者多於項目的情形下尤為顯著。

#### 2. Model based

以存量為基礎（Memory based）的協同過濾的缺點是資料稀疏，難以處理大資料量，這會影響即時結果。另一大類的協同過濾，即以模型為基礎的協同過濾，可以在一定程度上緩解這個問題。 以模型為基礎的協同過濾(Model-based Collaborative Filtering)是先用歷史資料得到一個模型，再用此模型進行預測。

### (五) Hybrid Approach我
基於Content-based filtering和Collaborative filtering的結合。
用兩種模型分別產品進行打分，並分別給與權重。最終的推薦結果將由這兩個分數的線性組合得出。混合推薦系統目的在於減少乃至克服基於內容推薦、協同過濾和基於規則的推薦系統的侷限。Fab系統聯合了協同過濾和基於內容過濾技術來消除基於內容過濾技術中的特徵缺乏和超特化問題以及協同過濾中的新商品問題。在這個系統中，基於內容的使用者檔案依舊用來尋找相似的使用者來進行協同推薦，商品會在以下兩個條件同時滿足時推薦給使用者：（1）被推薦商品在目標使用者檔案中有較高的分數；（2）被推薦商品在目標使用者的相似使用者中有較高的評級。

## 三、研究什麼資料可以幫助金融商品推薦？
### (一) 用戶相關資料 (User data)
#### 1. 基本資料 (basic data)

個人基本資料指的是性別、年齡及教育背景等可得於大部分用戶的資訊，這些資料的取得及處理成本低且涵蓋範圍最廣，有助於我們建構出用戶的基礎輪廓，幫助我們了解整體族群的分布情形。
其中，面對連續性的基本資料，我們可以透過適當的調整資料顆粒度以更好的反應族群的分布情形。舉例來說: 若我們直接以實際年齡來放入模型的分析使用的話，則分析結果有可能會受到極端的資料點(例如:22歲)影響，反而使得模型無法捕捉到族群的真實分布，這時將連續資料合併為較大的資料區間(例如:18歲~24歲)，則能夠稀釋掉極端資料點的效果，並進一步強調大族群特性。

#### 2. 問卷資料 (survey data)
問卷資料指的是用戶所參與之測驗內容，如商品滿意度調查、使用偏好調查、風險耐受度測驗等，問卷又分為封閉式問卷及開方式問卷，以封閉式問卷來說，所有選項皆有設計好之選擇，因此在後續資料處理上較為輕鬆，而開方式問卷則因為回答沒有標準格式，因此在後續資料處理上成本較高。
需要注意的是，若問卷資料為用戶自行選擇是否填寫的話，則要特別留意是否存在自我選擇偏誤(Self-Selection Bias)的問題，意即我們應該關注問卷資料是否能真實反映出母體的分布清況。

#### 3. 交易資料 (transaction data)
交易資料是使用者所產生的具體資料，分析客戶過去的交易紀錄、交易頻率以及單筆交易的金額大小，我們能夠最為直接地捕捉到客戶的交易習慣以及交易偏好，並進一步提升個人化推薦的時機、管道以及項目準確度。

#### 4. 行為資料 (behavioral pattern data)
行為資料揭示了用戶在數位管道上的使用者行為、見解，如瀏覽紀錄、搜尋紀錄等，這些資料會提供有關使用者需求與需要的重要訊號，包括購買商品的準備度。
分析行為資料的目的，是透過了解使用者在使用服務過程中的階段、他們接下來需要哪些資訊或互動，以及遇到哪些障礙，來主動預測使用者的需求。雖然有各種資料和分析可以實現此目的，但行為資料的獨特之處在於，同樣反映使用者產生的具體資料，在預測意圖方面非常準確。此外，透過將跨管道行為分析與其他類型的客戶資料 (如交易資料) 相結合，可以獲得更豐富的見解，從而提供更加個人化的推薦內容。

### (二) 產品資料 (product data)
在推薦系統當中，除了可以分析客戶相關資料外，我們也應該要對公司自身所提供的產品類型、產品特性以及產品的市場定位做更進一步的了解，如金融商品的基本資料、風險大小以及預期投報率等等，了解產品之間的差異並將同類型之產品做更進一步之細分，有利於我們找到更加細微的特徵、提升推薦內容的詳細程度。

## 四、成效報表的 Prototype
### (一) 本系統流程報表

| 流程 | 說明 |
| -------- | -------- |
| 設定顧客輪廓 | 將顧客依據網頁瀏覽行為、基本屬性資料、信用卡核卡資料、外匯交易資料、信貸申請資料、信託類產品交易資料及最後一次交易時間，分別算出FX_f1、CC_f1、WM_f1、LN_f1的數值，並描繪顧客輪廓 |
| 推薦分數 | 依照推薦公式Score = FX_f1*1 + CC_f1*10 + WM_f1*20 + LN_f1*20，為每位顧客算出其得分 |
| 推薦產品 | 依據不同顧客的分數，利用簡訊投遞方式推薦適合的金融商品 |
| 顧客實際選擇 | 記錄顧客實際購買的金融商品 |
| 精確與準確率 | 將推薦的商品與顧客實際的選擇進行比對，以預測準確數目除以顧客總購買件數，算出模型的準確率 |
| 影響顧客決策的因素| 了解顧客決策的重要影響因子，像是顧客年齡、經濟能力、職業、消費習慣、自身性格因素 |

### (二) 成本效益分析

| 此模型對成本效益之<br>影響 | 說明 |
| -------- | -------- |
| 成本增加| 模型建置成本、模型運行及應用成本、維護成本|
| 成本減少 |* 廣告費用：原先對不特定大眾的廣告投入成效不明且費用高昂，若改成以單個客戶為單位來推薦，則經費將花在刀口上且成效更高。<br>* 分析成本：建構顧客消費習性的資料庫將資料彙總，以及模型分數的高低皆便於分析，可減少分析的時間及成本。<br>* 人力與成本：減少專人的推薦成本，且透過精準行銷可以節省更多推銷時間|
|收益增加 | 準確的推薦模型，將使金融業務收入增加 |


※成本效益分析簡略示意圖

### (三) 模型評估指標視覺化
建構模型評估指標，並以視覺化的方式，讓閱讀者能夠輕易了解目前模型的運作情形、好壞，以及是否需要調整。

| | 說明 |
| -------- | -------- |
| 機器學習模型<br>評估指標 | 分類問題：<br> * 準確率(Accuracy)：預測正確的結果占總樣本的百分比<br>* 精確率(Precision)：所有被預測為正的樣本中實際為正的樣本的機率<br>* 召回率(Recall)：實際為正的樣本中被預測為正樣本的機率<br>* F1-Score : Precision和Recall的調和平均數<br><br>圖片來源：https://reurl.cc/LpK3We<br><br>* ROC曲線 (Receiver Operating Characteristic curve) <br><br>圖片來源：https://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF<br><br>* AUC (Area Under Curve)<br><br>圖片來源：https://evispot.ai/area-under-the-roc-curve-auc/<br><br>迴歸問題：<br>* MAE<br>* MSE|

## 五、發想推薦系統模型還能應用在什麼地方？
### (一) 資料庫行銷
根據對資料庫內資料的分析，確認目標客戶，迅速準確地獲知其需求，了解其特徵，推薦傳達產品和服務的相關資訊。

### (二) 機器人理財
根據大數據資料庫來做分析，搭配演算法進行自動化管理，以全無或極少的人工服務，提供客戶投資組建議的理財顧問服務，如預測股票漲跌機率、基金等。

### (三) 保險商品
以AI預測分析掌握客戶需求與偏好。整合第三方數據，取得客戶資料，了解客戶生命階段的變化，例如結婚生子，進一步分析客戶需要的保險保障，利用AI模型推薦最適合客戶的商品方案。

### (四) 其他
#### 1. 社群好友推薦
如FB、IG等透過好友相關性連結，透過演算法推薦可能適合你的朋友。
#### 2. 電商商品推薦
如MOMO、PCHOME等，透過點擊次數行為資料、購買紀錄，推薦消費者可能會想購買的產品。
#### 3. 電影
如NETFLIX、KKTV，根據觀看紀錄，時間長短，推薦用戶最感興趣的影片。

## 六、參考資料
[Recommender Systems and Applications in Banking](https://medium.com/genifyai/recommender-systems-and-applications-in-banking-f0cef8f87fa6)
[推薦系統之路](https://twgreatdaily.com/gBjdb20BJleJMoPMSYWv.html)
[推薦引擎技術是什麼？除了電商產業，大數據還可以如何應用？](https://www.ecloudvalley.com/zh-hant/recommendation-engine-big-data/)
[什麼是推薦系統？](https://blogs.nvidia.com.tw/2020/05/14/whats-a-recommender-system/)
[為何Spotify推薦的歌曲總能符合你的喜好？讓它超越競爭對手的秘密...](https://www.businessweekly.com.tw/business/blog/3001912)
[推薦系統](https://acrobat.adobe.com/link/review?uri=urn:aaid:scds:US:d27d6612-04cf-3c92-8d5c-fa20f2c3201d)
[運用推薦系統提升您的銷售業績](https://link.medium.com/UjSu7Pr8oob)
[什麼是行為分析？](https://dynamics.microsoft.com/zh-tw/ai/customer-insights/what-is-behavioral-analytics/)
[資料庫行銷](https://zh.wikipedia.org/wiki/%E6%95%B0%E6%8D%AE%E5%BA%93%E8%90%A5%E9%94%80)