###### tags: `week2`
###### tags: `課前準備`

# U: Live Session 2 課前準備

### 本次關鍵重點

在不同的商業模式、組織需求下會產生差異相當大的 data infrastructure。在第二堂 Live Session 中，我們會嘗試模擬在不同的情境下去規劃大框架下的 data infrastructure 藍圖。

* Analytic-focused data system and operational-focused data system
* Components in a data system: ingestion, transformation, storage, and more.

接下來，請在本次 Live Session 開始前，完成以下任務。此調研內容請更新至作業繳交區。

### 課前任務
#### 任務說明：

以自己公司的 data infrastructure 作為出發點，瞭解 data infrastructure 在不同應用情境可能的變形。在不涉及商業機密的前提，麻煩酌情蒐集現在公司內的下列資訊。此任務結果不會直接對其他學員公開，但建議在課堂中可自願分享與其他人討論。

* 資料來源與種類。Ingestion 的方法
* Backend databases. Snapshot, CDC, or API
* Client/Server-side tracking
* 3rd-party systems ingestion
* Partner data ingestion
* Crawler
* 目前終端資料如何被使用，如何提供服務。
* Analytics systems
* Machine Learning systems
* Reporting systems
* Reverse ETL
* 中間 Data 架構
* Transformation tools. Streaming or batch. SQL or other tools.
* Storage
* Orchestration
* Data discovery
* 目前自己公司比較像上述 modern data infra 哪個類型？
* 目前日常維運或開發上的痛點、挑戰。
* 未來最期待的變革方向。
* 若把現在 data infrastructure 重來一次，你會做哪些調整？
* 以上資訊是否願意在課堂中公開討論？

以上為資訊收集參考框架，不需 100% 符合。另外可參考下方的閱讀清單、參考資訊來整理與搜尋資訊。

課程前必須對 ingestion, transformation, storage, workflow orchestration 等關鍵 components 有足夠的理解與掌握。以及完成必要閱讀。

>#### 作業條件 （for 內部用）
>1. 是否為小組作業 (Y/N) N
>2. 是否會上傳 url (Y/N), (Miro / google doc) Y
>3. 是否須包含課程/ 作業反思 (Y/N), (課程/ 作業) Y
>4. 是否可以看到其他人的作業 (Y/N) N
>5. 是否會被講師批改 / 回覆 (Y/N) N
>6. 其他備註 e.g. 要先等 XX 作業繳交後才能完成此作業

### 閱讀清單
#### 必要閱讀

* [The Baseline Data Stack - Going Beyond The Modern Data Stack](https://seattledataguy.substack.com/p/the-baseline-datastack-going-beyond) by SeattleDataGuy
* The Baseline Data Stack - The Different Types Of Data Stacks - Part 2
([substack](https://seattledataguy.substack.com/p/the-baseline-data-stack-the-different), [medium](https://medium.com/coriers/the-baseline-data-stack-the-different-types-of-data-stacks-part-2-c6a826d8f2f1)) by SeattleDataGuy (Member-only article)
* [Emerging Architectures for Modern Data Infrastructure](https://a16z.com/2020/10/15/emerging-architectures-for-modern-data-infrastructure/) by a16z

### 參考資訊

* [The Modern Data Stack Repository](https://www.moderndatastack.xyz/)