###### tags: `NTU Master Thesis` # AWS 抓取資料設定 為了能在本地端的個人電腦中分析上傳到 AWS Server 的資料，須先有資料本身。利用 awscli 中的 aws configure 設定權限後，可以使用 Python 的函式庫 boto3 下載資料 (資料會是 CSV 的格式) ## aws configure 在個人電腦中下載 awscli 的套件後，以 aws configure 指令，依序輸入你的AccessKey、SecretKey、region、output 等四項資料後，這台主機便有權限能下載來自 AWS Server 的資料 ```shell aws configure ``` P.S. 除了下載資料以外，還有很多指令可以用，請參考 AWS 官方的 awscli [各項指令](https://awscli.amazonaws.com/v2/documentation/api/latest/index.html) ## boto3 boto3 的資源在網路上也挺多的，這邊只提供一個範例程式給你參考。如下，跑完下面的 Code ，便能得到 Dataframe 格式的資料 raw_df，以便於後續使用 pandas、numpy 做資料分析 ```python # create IoT Analytics client client = boto3.client('iotanalytics') # get dataset url dataset = "shangsheng_field_dataset" dataset_url = client.get_dataset_content(datasetName = dataset)['entries'][0]['dataURI'] # change data type (url csv to dataframe) raw_df = pd.read_csv(dataset_url) ```