---
# System prepended metadata

title: 大數據技術的實際應用
tags: [MyNTUST]

---

# 大數據技術的實際應用

###### tags: `MyNTUST`

[toc]

Speaker
===

- 張伯羣(Birdy)
- 經歷
    - Grindr 工程副總經理（Infra）
    - Houzz 工程師(新創公司)
    - Instagram 工程師/工程經理
    - Facebook 工程師（大數據）
    - Oracle 甲骨文公司 軟體工程師
- 學歷
    - 臺大資工學士
    - 美國賓州大學資訊工程碩士

大數據 Big Data
===

> 太多、太複雜以至於無法用一般的電腦處理的資料

KB < MB < GB < TB < PB < EB < ZB

- Facebook 所有的數據量大概是 EB 等級
- CISCO 估計 2016 整年數據產生量約為 1 ZB，2020 年約為 2 ZB
1999年一年約產生1.5EB

How much?
---

大概就是年總產量的1000^-3^倍

Data Infrastructure
===

- App infrastructure
    - Production Databse
    - App Servers
        - Mobile Clients
        - Web Clients
        - API Clients
        - 在背後收集資料，就可以更精確的推薦內容給 USER
- Data Infrastructure
    - Collect
    - Store
    - Process
    - Visualize
    - Reporting Monitoring
- Bussiness Intelligence

MapReduce
===

- Map + Reduce
    - Map
        - 把材料分解
    - Reduce
        - 重組成新的複合體

舉個例子 - 數一本書有幾個字
---

1. 把每頁撕下來
2. 每個人去算他那張紙上某字母開頭的單字有幾個

建造Data Pipeline
===

> 資料流水線，把同一筆資料分流給不同部門分析不同面向。

Example
---

- 伺服器記錄 IP
    - Pipeline1
        - 計算有多少IP
    - Pipeline2
        - 計算有多少瀏覽者
    
A/B Testing
===

- 為一種隨機測試，將兩個不同的東西進行假設比較
- 運用統計學上的假設檢定和雙母體假設檢定

Example
---

- 不同的按鈕顏色造成不同的點擊率
- 2007 Obama fundraising
    - 用網頁吸引試用者 sign up 或線上捐款
        - 不同的按鈕文字
        - 不同的多媒體文宣
        - 不同的按鈕型態(圖片和文字按鈕)
    - result
        - 「Learn more」 is best
        - family image 效果最好 
        - 影片類效果最差
            - 不想點開來看
            - 縮圖不吸引人
        - 最好組合: 「 learn more」+ family image 
            - 40% more than origin
            - sign-up rate from 8.26% to 11.6%, improvent is 40.6%
            -  2.88M of people
            - 10% conversion to volunteer -> 288k more volunteer
            - Avg $21 donation -> total $60M donate

# **我大B哥 太帥了吧** #

QA
===

1. 管理經歷及心得
    - 視同視為朋友，互相學習互相成長
    - 誠信、誠實、公開透明
    - 持續學習
    - 求新求變

2. [SaaS](https://en.wikipedia.org/wiki/Software_as_a_service) 化
    - 把服務上雲端，有公司專門在做這方面的環境建置
    - 讓你只要專注於你的核心技術
    - 客群為中小公司
    - 對 Data Infra 工程師影響不大
        - 不懂底層的話很難去調校到最好的狀態

3. 來台灣的創業經歷
    - 9 月多離開 Grindr，疫情關係躲在台灣，所以開始創業
    - 瞄準海外市場，尤其北美市場
        - 在台灣創業不能只看到內需市場

4. 如何看待台灣新創市場?
    - 人力市場便宜但被動
        - 從小受台灣教育影響，缺乏嘗試的勇氣
        - 為了跟上教學進度，反而造成了標準化的思考方式
    - 台灣公司開會方式（缺點）
        - 老闆最大，偏上對下
        - 依照位階坐
        - 等老闆來才開會，浪費時間
        - 注重階級、長幼、尊師重道
    - 希望能將美國公司文化帶入台灣
        - 像當年 Googlers 把文化帶入 Facebook

5. 對於公司文化及核心價值的看法
    - 公司文化很大程度取決於領導者
    - 應該要像個職業球隊，目標為贏球而非社交
    - 將更換工作視為一種健康的過程
    - Facebook
        - 良性競爭激烈
        - 對事不對人
        - 重點為讓事故不再發生而非檢討當事人
        - 訂定 follow up(目標)，而且有人負責追蹤執行進度
    - Instagram
        - 人 Nice, chill(than Facebook)
    - Uber
        - 成長快速，但名聲差
        - 最後選擇了Houzz
    - Houzz
        - 文化好，氣氛好
        - "We are family." （note:放屁）
        - 不太開除員工
            - 可能造成劣幣驅逐良幣的現象
    - Grindr

6. 你們的交友軟體如何吸引用戶，如何評估是否有做得比同業好?
    - 獲客
        - ~~上架用戶就會來~~
        - 關鍵字、標題、[SEO](https://zh.wikipedia.org/wiki/%E6%90%9C%E5%B0%8B%E5%BC%95%E6%93%8E%E6%9C%80%E4%BD%B3%E5%8C%96)
        - 最佳化廣告投放
            - 找專家
    - 競品分析
        - 找專家
        - 熟悉競爭對手
    - 選擇製作交友軟體原因
        - 競爭對手不強（~~閃開，讓專業的來~~）

7. 你們的產品要如何在眾多的交友軟體中勝出?
    - 凡事從模仿開始，直到齊平或超越
    - 然後再慢慢把不好的地方改掉，或加新的功能
    - 不是一開始就想好
    - 細微的功能差異導致巨大的不同
    - 利用數據分析，增加或刪減產品功能

8. 數學向的數據跟設備向的 infra 的關聯是?
    - 工程師需要的是快速的學習力，尤其是Data Infra
    - 理解產品背後原理很重要

9. 在大學即將畢業的階段，我們該如何銜接業界和學校的落差
    - 去實習，大部分公司對實習生會比較友善
    - 實習能了解不同公司的文化差異

10. 在你做大數據的經驗中，你印象最深刻的事件是甚麼?
    - 資料流水線上游數據受汙染，造成大量資料損壞
    - 這問題應該有人去解決
    - 解決方法
        - 利用自動化腳本產生 ticket，assign 給其他人
        - 歸功於 FB 內的開放文化
    - 結果
        - 被主管稱讚
        - 加薪

11. Scott 印象深刻的事
    - 有人誤刪了一大包資料

12. COVID-19 對事業經營的影響
    - 因用戶約出來見面的比例較高，對 Grindr 影響巨大
    - 因在家無所事事，Tinder 使用者增加
    

Contributers
===

- @CA-Lee calee.tw
- @Yi0327 
- @youwei


chatroom
---

你是不是蔡友盤?
不要在冒充我了
@youwei 我看到你在右邊第三排了
你看不到我啊
開hackmd還想躲阿
對台灣創業市場的看法
甚麼時候才要開放學生QA QAQQQQ
人家拿的是UBER的工程師聘書 我們拿的是UBER的駕駛聘書QQ
下次再一起打
 這次的筆記豐富好多QAQ 感謝各位
> [name=C.A. Lee]
> 
每次演講都會開
ok
我也要簽名
下禮拜是網紅喔
> [name=Sam. W]
