---
# System prepended metadata

title: BI work with MKT on 數據整合

---

# BI work with MKT on 數據整合
## 資料導入專案三階段

### 一、數據清整

#### 1. 數據收集
一個專案一定有要達成的目標，要收集為了達到目標需要的數據
譬如，想分析台北地區分店的會員招募成效，
就必須有品牌的分店地點、會員註冊地點、新會員購買紀錄
目前數據收集常用的方式有sftp傳輸及API交換兩種

以Migo目前的服務來說，以下幾張為常見表

* 會員表
    * 會員編號,姓名,年齡,生日,手機,Email,註冊日,註冊店櫃等
* 會籍紀錄表
    * 會員等級,等級生效日,等級截止日,等級狀態（啟用／停用）等
* 門市店櫃表
    * 門市編號,名稱,地址,電話,區域別,通路別,負責人等
* 交易主表
    * 訂單編號,訂單日,出貨日,購買會員編號,訂單門市編號,訂單金額等
* 交易明細表
    * 訂單編號,購買產品編號,產品售價等 
* 產品表
    * 產品編號,產品名稱,產品分類,顏色,尺寸,定價等
* 折扣紀錄表
    * 折扣號碼,折扣名稱,折抵金額等
* 點數紀錄表
    * 點數增減,點數增減原因等
* 溝通紀錄表（Email/SMS/LINE）
    * 發送時間,發送號碼,發送是否成功,點擊時間等

並不是每間公司都能提供這些資料，
譬如有些公司只有收集每次交易的紀錄，
並沒有獨立的會員表，
我們為了分析需求，就要從交易紀錄中把會員資訊萃取出來，單獨成表


#### 2. 數據品質檢查與修正

我們想像中的資料表都長得很漂亮，
但實際上收到的數據，有可能檔案打不開，編碼或內容錯誤導致格式走鐘

能正確打開資料表之後，欄位內容也可能跟自己想像的不一樣
譬如我們想像的手機號碼是0999123456，結果有人的手機資料是中文字，
或填了市話或外國號碼，或是空值，這些都會影響數據被使用後的效益低於我們原本的期待

又或者，在購買紀錄表上，同一個訂單號碼有兩筆資料，且這兩筆資料竟然是由不同會員購買的，這又是怎麼回事呢？

#### 數據清整常常遇到的雷

1. 資料重複：相同的資料重複出現，缺乏key值
2. 資料缺失：姓名／手機／地址未填寫，或一開始就沒有收集
3. 品質不佳：同一產品在不同訂單中顯示不同名稱，同一欄位內容格式不統一
4. 資料不一致：交易主表的訂單金額不等於交易明細金額的加總
5. 資料不夠全面：只有線上訂單或線下訂單
6. 資料不夠即時：線上/線下消費數據同步存在時間差

數據品質檢查與修正是最花時間的工作，
尤其當資料品質不佳，提供者必須回頭釐清原因並修正，
問題的釐清又可能必須要回溯歷史或詢問其他相關部門，
一次修正短至2-3天，長至1-2個月，甚至無解都有可能


#### 3. 資料流(Datapipeline)製作

當需要的欄位都備齊，每張表的品質也都過關後，
下一步是規劃有效率的資料流程

無論要製作分析報告或儀表板，相同的分析可能會做無數次，產生無數張新表
光是計算會員過去一年的訂單金額，就可能分為包含退貨及不含退貨的版本
這些常用的欄位要怎麼存放，計算時要用哪些表的哪些欄位，確定的定義是什麼
都需要找到最有效率的方式，
才不會每次都要重複計算相同的東西造成重工，或不同人用不同的方式計算同一個標籤，造成數據解讀的偏誤

有清楚的資料流程，我們也才知道當某一個表的內容異動時，
有哪些相關的欄位和儀表板的內容會被影響，需要更新

### 二、資料特徵化
根據業務或營運需求，擴充資料的特徵與足跡，以豐富數據的內容

以Migo的經驗來說，品牌想知道的會員標籤通常有
* 最近一段時間內的交易次數、平均交易金額
* 是否偏好特定門市或通路
* 是否偏好特定產品
* 距離上次的消費時間間隔，平均多久會消費一次？
* 平常會點擊簡訊或Email嗎？點擊後有沒有購買？
* 有兌換贈送的點數或折價券嗎？


### 三、建立分群
根據行銷場景需求，建立資料的標籤與分群

什麼樣的分群方式最能把不同類型的會員分開，
讓品牌分別對他們採取不同的溝通策略呢？

除了CRM常用的RFM模型，Migo也有自行研發的NFES標籤
讓品牌了解會員的活性為何，制定相應的經營策略

* 新會員(N)
* 鮮會員(F)
* 活躍會員(E)
* 沉睡會員(S)

除了採取不同的溝通策略外，
不同群的會員間也可以比較，產生商業洞察

例如：每天都要喝咖啡的消費者是不是習慣大量購買低價咖啡？
偶爾喝一次的消費者會不會比較能接受高價咖啡？
要回答這樣的問題，就需要依據消費者對咖啡的消費頻率進行分群和消費分析


## 隱藏的魔王：外部資料交換 

品牌常常同時與不同廠商合作，資料分散在不同廠商手中，整合困難：
1. 不同廠商資料記錄方式不同，缺乏整併key值或對應表
2. 不同廠商資料更新時間不同，導致消費者在不同地方取得的資訊有落差
3. 廠商間溝通成本高，各做各的，缺乏統一規劃資料流程的能力
4. 公司內不同部門向不同廠商取得資料，由於資料處理邏輯不同，造成數據不同，形成內部溝通與決策的阻力

常需要資料交換的廠商有：
* 線上官方網站，電商平台
* 門市POS機資料
* 廣告投放廠商(DMP)
* 會員資料平台(CDP)
* 其他行銷工具廠商

如何統合不同廠商間的差異，打造共同的數據平台與優質服務體驗，
就算建立資料交換機制，又是另一個挑戰的開始，
因為打開資料交換的門，如果合作廠商丟了有問題的資料進來，
甚至會打亂自己已經整理好的資料．．．
各式各樣的問題都是本階段的重點，也是考驗經驗與專案控管能力的最佳戰場

