---
# System prepended metadata

title: AWS 抓取資料設定
tags: [NTU Master Thesis]

---

###### tags: `NTU Master Thesis`

# AWS 抓取資料設定
為了能在本地端的個人電腦中分析上傳到 AWS Server 的資料，須先有資料本身。利用 awscli 中的 aws configure 設定權限後，可以使用 Python 的函式庫 boto3 下載資料 (資料會是 CSV 的格式)

## aws configure
在個人電腦中下載 awscli 的套件後，以 aws configure 指令，依序輸入你的AccessKey、SecretKey、region、output 等四項資料後，這台主機便有權限能下載來自 AWS Server 的資料
```shell
aws configure
```

P.S. 除了下載資料以外，還有很多指令可以用，請參考 AWS 官方的 awscli [各項指令](https://awscli.amazonaws.com/v2/documentation/api/latest/index.html)

## boto3
boto3 的資源在網路上也挺多的，這邊只提供一個範例程式給你參考。如下，跑完下面的 Code ，便能得到 Dataframe 格式的資料 raw_df，以便於後續使用 pandas、numpy 做資料分析 
```python
# create IoT Analytics client
client = boto3.client('iotanalytics')

# get dataset url
dataset = "shangsheng_field_dataset"
dataset_url = client.get_dataset_content(datasetName = dataset)['entries'][0]['dataURI']

# change data type (url csv to dataframe)
raw_df = pd.read_csv(dataset_url)
```