# 2019-10-23 KYC sync 1. LILY --- 進度:爬蟲有在爬(新的環境還在裝python,十月份資料可以有一版,不完整) 可以動的爬蟲,不會抓完(因為來不及),確認每隻程式都是ok的 *資料整理時,不會更動原始資料(環境限制關西不能一直跑) PG,遠端,問Aiden(部署到aiden機器上面收資料). pdf還沒修好(一週後產出,不一定能修完) 11月demo:可以跑的爬蟲,可以在11月初有個版本(收集10月的版本) 工商資料:10月已收集一版。(目前有json黨) 2. Josh --- gotlab ci timeout的文件 分享評估結果以及大小 replicater:15-20G 1. 可以data 2. 整理完之後的資料 以上可以分別被replicate。 Q:replicater資料會傳到hoodook,進去後資料要如何規劃,會比較好去查詢??? A:新光希望系統塞hoodook,只是把它塞進去,做歷史資料的管理??會做時間軸??? To do 這週工作: 目前沒有碰到困難,接下來跟Aiden討論hoodook,規劃時程。 架環境起來(已架起來確認?) 評估ciq資料做切分 更新環境文件??(待確認) 3. Hu --- 1.KYC服務 2.Jenkins 整套爬蟲還沒跑起來 困難:重現環境,跑起來 缺少資料庫資料(BT) 下週:跑起來 11/02,demo,內容?需要什麼?環境是要先架好,還是現場架?
×
Sign in
Email
Password
Forgot password
or
By clicking below, you agree to our
terms of service
.
Sign in via Facebook
Sign in via Twitter
Sign in via GitHub
Sign in via Dropbox
Sign in with Wallet
Wallet (
)
Connect another wallet
New to HackMD?
Sign up