# 大數據技術的實際應用

###### tags: `MyNTUST`

[toc]

Speaker
===

- 張伯羣(Birdy)
- 經歷
- Grindr 工程副總經理（Infra）
- Houzz 工程師(新創公司)
- Instagram 工程師/工程經理
- Facebook 工程師（大數據）
- Oracle 甲骨文公司 軟體工程師
- 學歷
- 臺大資工學士
- 美國賓州大學資訊工程碩士

大數據 Big Data
===

> 太多、太複雜以至於無法用一般的電腦處理的資料

KB < MB < GB < TB < PB < EB < ZB

- Facebook 所有的數據量大概是 EB 等級
- CISCO 估計 2016 整年數據產生量約為 1 ZB，2020 年約為 2 ZB
1999年一年約產生1.5EB

How much?
---

大概就是年總產量的1000^-3^倍

Data Infrastructure
===

- App infrastructure
- Production Databse
- App Servers
- Mobile Clients
- Web Clients
- API Clients
- 在背後收集資料，就可以更精確的推薦內容給 USER
- Data Infrastructure
- Collect
- Store
- Process
- Visualize
- Reporting Monitoring
- Bussiness Intelligence

MapReduce
===

- Map + Reduce
- Map
- 把材料分解
- Reduce
- 重組成新的複合體

舉個例子 - 數一本書有幾個字
---

1. 把每頁撕下來
2. 每個人去算他那張紙上某字母開頭的單字有幾個

建造Data Pipeline
===

> 資料流水線，把同一筆資料分流給不同部門分析不同面向。

Example
---

- 伺服器記錄 IP
- Pipeline1
- 計算有多少IP
- Pipeline2
- 計算有多少瀏覽者

A/B Testing
===

- 為一種隨機測試，將兩個不同的東西進行假設比較
- 運用統計學上的假設檢定和雙母體假設檢定

Example
---

- 不同的按鈕顏色造成不同的點擊率
- 2007 Obama fundraising
- 用網頁吸引試用者 sign up 或線上捐款
- 不同的按鈕文字
- 不同的多媒體文宣
- 不同的按鈕型態(圖片和文字按鈕)
- result
- 「Learn more」 is best
- family image 效果最好
- 影片類效果最差
- 不想點開來看
- 縮圖不吸引人
- 最好組合: 「 learn more」+ family image
- 40% more than origin
- sign-up rate from 8.26% to 11.6%, improvent is 40.6%
- 2.88M of people
- 10% conversion to volunteer -> 288k more volunteer
- Avg $21 donation -> total $60M donate

# **我大B哥 太帥了吧** #

QA
===

1. 管理經歷及心得
- 視同視為朋友，互相學習互相成長
- 誠信、誠實、公開透明
- 持續學習
- 求新求變

2. [SaaS](https://en.wikipedia.org/wiki/Software_as_a_service) 化
- 把服務上雲端，有公司專門在做這方面的環境建置
- 讓你只要專注於你的核心技術
- 客群為中小公司
- 對 Data Infra 工程師影響不大
- 不懂底層的話很難去調校到最好的狀態

3. 來台灣的創業經歷
- 9 月多離開 Grindr，疫情關係躲在台灣，所以開始創業
- 瞄準海外市場，尤其北美市場
- 在台灣創業不能只看到內需市場

4. 如何看待台灣新創市場?
- 人力市場便宜但被動
- 從小受台灣教育影響，缺乏嘗試的勇氣
- 為了跟上教學進度，反而造成了標準化的思考方式
- 台灣公司開會方式（缺點）
- 老闆最大，偏上對下
- 依照位階坐
- 等老闆來才開會，浪費時間
- 注重階級、長幼、尊師重道
- 希望能將美國公司文化帶入台灣
- 像當年 Googlers 把文化帶入 Facebook

5. 對於公司文化及核心價值的看法
- 公司文化很大程度取決於領導者
- 應該要像個職業球隊，目標為贏球而非社交
- 將更換工作視為一種健康的過程
- Facebook
- 良性競爭激烈
- 對事不對人
- 重點為讓事故不再發生而非檢討當事人
- 訂定 follow up(目標)，而且有人負責追蹤執行進度
- Instagram
- 人 Nice, chill(than Facebook)
- Uber
- 成長快速，但名聲差
- 最後選擇了Houzz
- Houzz
- 文化好，氣氛好
- "We are family." （note:放屁）
- 不太開除員工
- 可能造成劣幣驅逐良幣的現象
- Grindr

6. 你們的交友軟體如何吸引用戶，如何評估是否有做得比同業好?
- 獲客
- ~~上架用戶就會來~~
- 關鍵字、標題、[SEO](https://zh.wikipedia.org/wiki/%E6%90%9C%E5%B0%8B%E5%BC%95%E6%93%8E%E6%9C%80%E4%BD%B3%E5%8C%96)
- 最佳化廣告投放
- 找專家
- 競品分析
- 找專家
- 熟悉競爭對手
- 選擇製作交友軟體原因
- 競爭對手不強（~~閃開，讓專業的來~~）

7. 你們的產品要如何在眾多的交友軟體中勝出?
- 凡事從模仿開始，直到齊平或超越
- 然後再慢慢把不好的地方改掉，或加新的功能
- 不是一開始就想好
- 細微的功能差異導致巨大的不同
- 利用數據分析，增加或刪減產品功能

8. 數學向的數據跟設備向的 infra 的關聯是?
- 工程師需要的是快速的學習力，尤其是Data Infra
- 理解產品背後原理很重要

9. 在大學即將畢業的階段，我們該如何銜接業界和學校的落差
- 去實習，大部分公司對實習生會比較友善
- 實習能了解不同公司的文化差異

10. 在你做大數據的經驗中，你印象最深刻的事件是甚麼?
- 資料流水線上游數據受汙染，造成大量資料損壞
- 這問題應該有人去解決
- 解決方法
- 利用自動化腳本產生 ticket，assign 給其他人
- 歸功於 FB 內的開放文化
- 結果
- 被主管稱讚
- 加薪

11. Scott 印象深刻的事
- 有人誤刪了一大包資料

12. COVID-19 對事業經營的影響
- 因用戶約出來見面的比例較高，對 Grindr 影響巨大
- 因在家無所事事，Tinder 使用者增加

Contributers
===

- @CA-Lee calee.tw
- @Yi0327
- @youwei

chatroom
---

你是不是蔡友盤?
不要在冒充我了
@youwei 我看到你在右邊第三排了
你看不到我啊
開hackmd還想躲阿
對台灣創業市場的看法
甚麼時候才要開放學生QA QAQQQQ
人家拿的是UBER的工程師聘書 我們拿的是UBER的駕駛聘書QQ
下次再一起打
這次的筆記豐富好多QAQ 感謝各位
> [name=C.A. Lee]
>
每次演講都會開
ok
我也要簽名
下禮拜是網紅喔
> [name=Sam. W]