# BI work with MKT on 數據整合 ## 資料導入專案三階段 ### 一、數據清整 #### 1. 數據收集 一個專案一定有要達成的目標，要收集為了達到目標需要的數據 譬如，想分析台北地區分店的會員招募成效， 就必須有品牌的分店地點、會員註冊地點、新會員購買紀錄 目前數據收集常用的方式有sftp傳輸及API交換兩種 以Migo目前的服務來說，以下幾張為常見表 * 會員表 * 會員編號,姓名,年齡,生日,手機,Email,註冊日,註冊店櫃等 * 會籍紀錄表 * 會員等級,等級生效日,等級截止日,等級狀態（啟用／停用）等 * 門市店櫃表 * 門市編號,名稱,地址,電話,區域別,通路別,負責人等 * 交易主表 * 訂單編號,訂單日,出貨日,購買會員編號,訂單門市編號,訂單金額等 * 交易明細表 * 訂單編號,購買產品編號,產品售價等 * 產品表 * 產品編號,產品名稱,產品分類,顏色,尺寸,定價等 * 折扣紀錄表 * 折扣號碼,折扣名稱,折抵金額等 * 點數紀錄表 * 點數增減,點數增減原因等 * 溝通紀錄表（Email/SMS/LINE） * 發送時間,發送號碼,發送是否成功,點擊時間等 並不是每間公司都能提供這些資料， 譬如有些公司只有收集每次交易的紀錄， 並沒有獨立的會員表， 我們為了分析需求，就要從交易紀錄中把會員資訊萃取出來，單獨成表 #### 2. 數據品質檢查與修正 我們想像中的資料表都長得很漂亮， 但實際上收到的數據，有可能檔案打不開，編碼或內容錯誤導致格式走鐘 能正確打開資料表之後，欄位內容也可能跟自己想像的不一樣 譬如我們想像的手機號碼是0999123456，結果有人的手機資料是中文字， 或填了市話或外國號碼，或是空值，這些都會影響數據被使用後的效益低於我們原本的期待 又或者，在購買紀錄表上，同一個訂單號碼有兩筆資料，且這兩筆資料竟然是由不同會員購買的，這又是怎麼回事呢？ #### 數據清整常常遇到的雷 1. 資料重複：相同的資料重複出現，缺乏key值 2. 資料缺失：姓名／手機／地址未填寫，或一開始就沒有收集 3. 品質不佳：同一產品在不同訂單中顯示不同名稱，同一欄位內容格式不統一 4. 資料不一致：交易主表的訂單金額不等於交易明細金額的加總 5. 資料不夠全面：只有線上訂單或線下訂單 6. 資料不夠即時：線上/線下消費數據同步存在時間差 數據品質檢查與修正是最花時間的工作， 尤其當資料品質不佳，提供者必須回頭釐清原因並修正， 問題的釐清又可能必須要回溯歷史或詢問其他相關部門， 一次修正短至2-3天，長至1-2個月，甚至無解都有可能 #### 3. 資料流(Datapipeline)製作 當需要的欄位都備齊，每張表的品質也都過關後， 下一步是規劃有效率的資料流程 無論要製作分析報告或儀表板，相同的分析可能會做無數次，產生無數張新表 光是計算會員過去一年的訂單金額，就可能分為包含退貨及不含退貨的版本 這些常用的欄位要怎麼存放，計算時要用哪些表的哪些欄位，確定的定義是什麼 都需要找到最有效率的方式， 才不會每次都要重複計算相同的東西造成重工，或不同人用不同的方式計算同一個標籤，造成數據解讀的偏誤 有清楚的資料流程，我們也才知道當某一個表的內容異動時， 有哪些相關的欄位和儀表板的內容會被影響，需要更新 ### 二、資料特徵化 根據業務或營運需求，擴充資料的特徵與足跡，以豐富數據的內容 以Migo的經驗來說，品牌想知道的會員標籤通常有 * 最近一段時間內的交易次數、平均交易金額 * 是否偏好特定門市或通路 * 是否偏好特定產品 * 距離上次的消費時間間隔，平均多久會消費一次？ * 平常會點擊簡訊或Email嗎？點擊後有沒有購買？ * 有兌換贈送的點數或折價券嗎？ ### 三、建立分群 根據行銷場景需求，建立資料的標籤與分群 什麼樣的分群方式最能把不同類型的會員分開， 讓品牌分別對他們採取不同的溝通策略呢？ 除了CRM常用的RFM模型，Migo也有自行研發的NFES標籤 讓品牌了解會員的活性為何，制定相應的經營策略 * 新會員(N) * 鮮會員(F) * 活躍會員(E) * 沉睡會員(S) 除了採取不同的溝通策略外， 不同群的會員間也可以比較，產生商業洞察 例如：每天都要喝咖啡的消費者是不是習慣大量購買低價咖啡？ 偶爾喝一次的消費者會不會比較能接受高價咖啡？ 要回答這樣的問題，就需要依據消費者對咖啡的消費頻率進行分群和消費分析 ## 隱藏的魔王：外部資料交換 品牌常常同時與不同廠商合作，資料分散在不同廠商手中，整合困難： 1. 不同廠商資料記錄方式不同，缺乏整併key值或對應表 2. 不同廠商資料更新時間不同，導致消費者在不同地方取得的資訊有落差 3. 廠商間溝通成本高，各做各的，缺乏統一規劃資料流程的能力 4. 公司內不同部門向不同廠商取得資料，由於資料處理邏輯不同，造成數據不同，形成內部溝通與決策的阻力 常需要資料交換的廠商有： * 線上官方網站，電商平台 * 門市POS機資料 * 廣告投放廠商(DMP) * 會員資料平台(CDP) * 其他行銷工具廠商 如何統合不同廠商間的差異，打造共同的數據平台與優質服務體驗， 就算建立資料交換機制，又是另一個挑戰的開始， 因為打開資料交換的門，如果合作廠商丟了有問題的資料進來， 甚至會打亂自己已經整理好的資料．．． 各式各樣的問題都是本階段的重點，也是考驗經驗與專案控管能力的最佳戰場