---
# System prepended metadata

title: 2019-10-23 KYC sync

---

# 2019-10-23 KYC sync

1. LILY

---


    進度：爬蟲有在爬（新的環境還在裝python，十月份資料可以有一版，不完整）
    
    可以動的爬蟲，不會抓完（因為來不及），確認每隻程式都是ok的
    
    ＊資料整理時，不會更動原始資料（環境限制關西不能一直跑）
    
    PG，遠端，問Aiden（部署到aiden機器上面收資料）. pdf還沒修好（一週後產出，不一定能修完）
    
    11月demo：可以跑的爬蟲，可以在11月初有個版本（收集10月的版本）
    
    工商資料：10月已收集一版。（目前有json黨）
    
    
    
2. Josh

---

    gotlab ci timeout的文件
    
    分享評估結果以及大小
    
    replicater：15-20G
    1. 可以data
    2. 整理完之後的資料
    以上可以分別被replicate。
    
    
    Ｑ：replicater資料會傳到hoodook，進去後資料要如何規劃，會比較好去查詢？？？
    Ａ：新光希望系統塞hoodook，只是把它塞進去，做歷史資料的管理？？會做時間軸？？？
    
    To do 這週工作：
    目前沒有碰到困難，接下來跟Aiden討論hoodook，規劃時程。
    架環境起來（已架起來確認？）
    評估ciq資料做切分
    更新環境文件？？（待確認）
        
    

3. Hu


---
    1.KYC服務
    2.Jenkins
    
    整套爬蟲還沒跑起來
    
    困難：重現環境，跑起來
    缺少資料庫資料（BT）
    
    下週：跑起來


11/02，demo，內容？需要什麼？環境是要先架好，還是現場架？




