---
tags: 大話AWS雲端架構
---
# Chapter 25. 大數據架構總覽、Chapter 26.

>### <font color="#5662F6">講者：Andrew
>### 日期：2022/01/05
>### 地點：Simtree中正旗艦店</font>

# CH25 大數據架構總覽

## 25.1 大數據接收、操作與倉儲
- 大數據接收
- 大數據操作
- 大數據倉儲

## 25.2 Kinesis、EMR、Redshift
- Kinesis (資料接收)
- EMR (資料處理)
- Redshift (資料倉儲)

# CH26 Kinesis、EMR、Redshift

## CH26.1 物聯網、大量感測器、巨量數據
zzzz
## CH26.2 Kinesis進行巨量數據蒐集

### CH26.2.1 Kinesis 分成Video Stream與Data Stream

- Kinesis 專門做大數據的蒐集與串流，支援兩大類型的數據
- 影片：使用 Kinesis Video Stream
- 一般資料(IOT感測器的數據)：Kinesis

- Kinesis Producer：上傳數據到Kinesis的感測器
- Data Record：產生出來的數據

> **↓存放至↓**
- Kinesis Stream：又可切分為很多個Shard(分片)，負責做**數據的分散緩衝**

- Kinesis Consumer：使用相同數據的系統 (不同系統可重複提取同個資料源)


## 26.3 Elastic Map Reduce進行巨量數據操作

### 26.3.1 EMR的底層引擎是開源大數據處理系統Hadoop
- Kinesis Consumer 通常是進行大數據處理的系統
- AWS最常聽見的就是Elastic Map Reduce(EMR)
- 本地大數據解決方案Hadoop的AWS**雲端版本**

- EMR服務底層是 EC2 instance，能夠以SSH的方式進入操作。

## 26.4 整理後大數據資料會轉存到S3或Redshift

- Kinesis Firehose: Kinesis推出的資料轉存服務，可以透過此服務將數據轉存到S3與Redshift內，做出快速版本的大數據資料倉儲方案。
## 26.5 Redshift 資料分析用的大數據資料倉儲
- Redshift 經典用途：資料倉儲與分析
- Column-base的叢集化資料庫

DC(Dense Compute) (運算密集型)：以**分析**為主
DS(Dense Storage) (儲存密集型)：以**大資料倉儲**為主

Q1: YES

Q2:
> EMR 啟動EC2 ->服務開始執行
> S3 -> 使用S3N協定將Input Data提取到EC2裡
> EMR -> Output Data 至 S3

## 26.7 大數據應用整體架構圖