# 資料庫與數據處理術語

[TOC]

---

### 1. 資料庫（Database）
一種結構化的電子化數據集合，可用於存取、管理和檢索資訊。

##### 📌 範例：
- **關聯式資料庫（SQL）**：
- MySQL、PostgreSQL、Oracle、SQL Server
- 適用於：銀行系統、ERP、CRM
- **非關聯式資料庫（NoSQL）**：
- MongoDB、Cassandra、Redis
- 適用於：社群媒體、即時通訊、推薦系統

---

### 2. OLTP（線上交易處理，Online Transaction Processing）
適用於高頻交易的系統，需確保快速回應與數據一致性。

##### 📌 範例：
- **電商網站**：
- 當使用者在 Amazon 或 Shopee 下單時，系統需要即時更新庫存、付款狀態和訂單資訊。
- **ATM 交易**：
- 使用者提款時，系統會即時減少帳戶餘額並產生交易記錄。

---

### 3. OLAP（線上分析處理，Online Analytical Processing）
適用於數據分析與商業智慧（BI），用來處理大量歷史數據查詢。

##### 📌 範例：
- **零售業銷售分析**：
- 分析過去 5 年的銷售數據，以預測未來的熱門商品。
- **金融風險分析**：
- 分析使用者的交易紀錄，識別潛在詐欺行為。

---

### 4. ETL（擷取、轉換、載入，Extract, Transform, Load）
ETL 是將數據從多個來源整合到數據倉儲的過程。

##### 📌 範例：
- **社群媒體數據整合**：
- 從 Twitter、Facebook、Instagram 擷取用戶互動數據（Extract）
- 清理並轉換成統一格式（Transform）
- 將數據載入分析系統（Load）

---

### 5. ACID（原子性、一致性、隔離性、持久性，Atomicity, Consistency, Isolation, Durability）
確保資料庫交易的可靠性。

##### 📌 範例：
- **購物車系統（原子性）**：
- 使用者結帳時，如果付款失敗，則訂單不應成立，確保「要嘛全部完成，要嘛全部取消」。
- **銀行轉帳（一致性）**：
- A 轉帳 100 元給 B，交易前後 A 和 B 的帳戶餘額必須符合規則。
- **同時購票系統（隔離性）**：
- 兩個使用者同時搶購最後一張演唱會門票，系統需確保只有一人成功購買。
- **訂單記錄（持久性）**：
- 使用者付款成功後，即使系統崩潰，交易數據仍應保存。

---

### 6. 數據倉儲（Data Warehouse）
專門用於歷史數據分析的資料庫。

##### 📌 範例：
- **企業營運報表**：
- 公司管理階層透過數據倉儲查看不同地區的業績表現，以調整市場策略。
- **醫療數據分析**：
- 分析過去 10 年的病患記錄，以預測特定疾病的高風險族群。

---

### 7. 數據湖倉（Data Lakehouse）
結合 **數據湖（Data Lake）** 和 **數據倉儲（Data Warehouse）** 的混合型存儲架構，適用於大數據分析。

##### 📌 範例：
- **Netflix 影片推薦系統**：
- 影片觀看數據、用戶行為數據存入數據湖
- 結合數據倉儲的分析結果，提供個人化推薦
- **IoT 智慧城市數據**：
- 監測城市交通資訊（如攝影機影像、GPS 數據）
- 分析歷史數據，預測未來的交通擁塞情況

---

### 8. DBT 工具（Data Build Tool）
專門用於數據倉儲的 SQL 模型開發與數據轉換。

##### 📌 範例：
- **電商數據轉換**：
- 使用 DBT 來清理每日銷售數據，並提供 BI 團隊進行趨勢分析。
- **金融監控**：
- 使用 DBT 來轉換交易記錄，標記高風險交易，供風險管理團隊分析。

### 延伸閱讀

#### 📜 Data Warehouse 發展歷程

| 時期 | 重要發展 | 主要技術 |
|-----------|-------------------------------------------------|---------------------------------------------|
| **1980s** | Data Warehouse 概念誕生，由 **Bill Inmon** 提出 | 早期的關聯式資料庫（如 IBM DB2, Oracle） |
| **1990s** | 企業開始廣泛採用數據倉儲，出現 **ETL 工具與 OLAP** | IBM、Oracle、Teradata 等數據倉儲技術崛起 |
| **2000s** | 商業智慧（BI）系統發展，支援更強大的查詢能力 | Microsoft SQL Server, SAP BW, Informatica |
| **2010s** | 雲端數據倉儲興起，提升擴展性與效能 | Amazon Redshift、Google BigQuery、Snowflake |
| **2020s** | **Data Lakehouse** 概念興起，結合數據倉儲與數據湖 | Databricks, Snowflake, Delta Lake |

#### 🎯 **重點摘要**
1. **1980s**：數據倉儲概念由 **Bill Inmon** 提出，IBM 和 Oracle 開始研發相關技術。
2. **1990s**：企業開始廣泛應用數據倉儲，**OLAP** 與 **ETL** 工具發展成熟。
3. **2000s**：**BI** 工具蓬勃發展，企業開始利用 SQL Server、SAP BW 進行更深入的數據分析。
4. **2010s**：雲端數據倉儲技術崛起，**Amazon Redshift、Google BigQuery、Snowflake** 等雲端解決方案成為主流。
5. **2020s**：數據湖與數據倉儲融合，**Data Lakehouse** 出現，讓企業能夠同時分析結構化與非結構化數據。