---
# System prepended metadata

title: Chapter 25. 大數據架構總覽、Chapter 26.
tags: [大話AWS雲端架構]

---

---
tags: 大話AWS雲端架構
---
# Chapter 25. 大數據架構總覽、Chapter 26. 

>### <font color="#5662F6">講者：Andrew
>### 日期：2022/01/05
>### 地點：Simtree中正旗艦店</font>



# CH25 大數據架構總覽

## 25.1 大數據接收、操作與倉儲
- 大數據接收
- 大數據操作
- 大數據倉儲

## 25.2 Kinesis、EMR、Redshift
- Kinesis (資料接收)
- EMR (資料處理)
- Redshift (資料倉儲)



# CH26 Kinesis、EMR、Redshift

## CH26.1 物聯網、大量感測器、巨量數據
zzzz
## CH26.2 Kinesis進行巨量數據蒐集
![](https://i.imgur.com/4BXj1JX.jpg)

### CH26.2.1 Kinesis 分成Video Stream與Data Stream

- Kinesis 專門做大數據的蒐集與串流，支援兩大類型的數據
    - 影片：使用 Kinesis Video Stream
    - 一般資料(IOT感測器的數據)：Kinesis

- Kinesis Producer：上傳數據到Kinesis的感測器
- Data Record：產生出來的數據
        
>    **↓存放至↓**
- Kinesis Stream：又可切分為很多個Shard(分片)，負責做**數據的分散緩衝**

- Kinesis Consumer：使用相同數據的系統 (不同系統可重複提取同個資料源)


![](https://i.imgur.com/uC0xF1x.jpg)


## 26.3 Elastic Map Reduce進行巨量數據操作

### 26.3.1 EMR的底層引擎是開源大數據處理系統Hadoop
- Kinesis Consumer 通常是進行大數據處理的系統
    - AWS最常聽見的就是Elastic Map Reduce(EMR)
    - 本地大數據解決方案Hadoop的AWS**雲端版本**
    
    
- EMR服務底層是 EC2 instance，能夠以SSH的方式進入操作。
 ![](https://i.imgur.com/o4daMoa.jpg)


## 26.4 整理後大數據資料會轉存到S3或Redshift

- Kinesis Firehose: Kinesis推出的資料轉存服務，可以透過此服務將數據轉存到S3與Redshift內，做出快速版本的大數據資料倉儲方案。
![](https://i.imgur.com/VebgOOZ.jpg)
## 26.5 Redshift 資料分析用的大數據資料倉儲
- Redshift 經典用途：資料倉儲與分析
    - Column-base的叢集化資料庫

DC(Dense Compute) (運算密集型)：以**分析**為主
DS(Dense Storage) (儲存密集型)：以**大資料倉儲**為主

Q1: YES

Q2: 
>    EMR 啟動EC2 ->服務開始執行
>    S3 -> 使用S3N協定將Input Data提取到EC2裡
>    EMR -> Output Data 至 S3 

## 26.7 大數據應用整體架構圖

![](https://i.imgur.com/F4Hhrb8.jpg)
