# ETL

**ETL**，是英文Extract-Transform-Load的縮寫，用來描述將資料從來源端經過抽取（extract）、轉置（transform）、載入（load）至目的端的過程。

在大數據的世界中存在的三種角色：

#### 軟體工程師

軟體工程師主要工作為開發應用軟體和系統服務。這過程中的每一個步驟，從規格設計、轉寫程式碼、品質測試到部署上線，每一個階段都需要參與。

幾乎會產生數據資料的產品都是軟體工程師所開發的；這個角色也是在這三種角色存在最久的一種角色，並且已經有相當成熟的開發模式、各式各樣的函式庫和開發工具等等。

工作內容包括：

- 電腦程式開發
- 網站前端開發
- 網站後端開發
- 行動app開發
- 作業系統開發
- 軟體架構設計
- 嵌入式軟體開發

#### 資料工程師（數據工程師）

資料工程師需要開發能獲得各種來源的資料，並在接收後進行資料整合、轉換、儲存以及提取的系統架構。資料工程的可以說是從軟體工程大類下衍生出的一個更細分的技能類別，因此很多資料工程師都是由軟體工程師轉職而來。

工作內容包括：

- 資料視覺化。
- 了解各種資料結構。
- 分散式平行運算。
- 使用 Hadoop、Pandas、Spark、Kafka、ELK等新技術。
- 開發ETL資料流（data pipelines）。
- 了解容器技術。

#### 資料科學家

資料科學家了解各種演算法，並善於做資料分析，利用資料工程師產出的乾淨資料來做更近一步的應用，在這這些大數據中找出過去發生的事實，並且預測可能發生的未來。

其工作內容包括：

- 數據建模
- 機器學習
- 演算法
- 商業智慧的 dashboards

## 三種角色需要掌握的工具示意圖


> 圖片來源：https://www.arab.technology/2020/09/data-roles-ans-skill-sets.html