--- tags: 'TWCC II' --- # Data Pipeliner [TOC] Data Pipeliner 是物聯網(IOT)資料儲存平台,具備安全可靠、低延遲及高擴充性,提供 MQTT、RESTful API 及 WebSocket 等前端資料接口,讓軟體開發人員簡單快速的建立資料管線、連接擷取、儲存分析 IOT 裝置的資料。 ## 建立資料管線 * 由服務列表點選「Data Pipeliner」,進入「Data Pipeliner」管理頁面,點擊「+新增資料管線」。 ![](https://man.twcc.ai/uploads/upload_1a062fea28de9ae184e4b6821b16d289.png) Data Pipeliner 目前提供多種資料庫型態,分別說明如下: ## TSDB 資料型態 選擇 TSDB(Time Series Database)資料庫型態,開發者可自行定義資料結構,並賦予不同存取權的金鑰,透過 MQTT 及 RESTful API 將裝置的資料存入 TSDB。 * 選擇 TSDB 資料庫型態,並填寫資料管線的名稱及描述,接著點擊「下一步:資料架構設定>」。 ![](https://man.twcc.ai/uploads/upload_728f8a0f8d43032165ed445e5d3ee8f8.png) ### 建立資料庫架構 * 資料庫架構設定頁面可自訂 TSDB 的 Schema,依畫面所示,輸入鍵值及屬性值之名稱、資料型態、長度限制及必要資料等設定。點擊「新增」可增加一列設定項目。 :::info :warning: 注意:至少需建立一組鍵值。 ::: ![](https://man.twcc.ai/uploads/upload_43d96b06da4a8a09b463b757a27b7dd7.png) * 設定完成後點擊「下一步:檢閱+建立」。 ![](https://man.twcc.ai/uploads/upload_510055dd8f4f17253ec4c860e436aab3.png) * 檢視資料管線建立的資訊,確定後點選「建立」。 ![](https://man.twcc.ai/uploads/upload_270e4cd7c4984ab2030fe6ababedcc36.png) * 資料管線建立後,會出現在 Data Pipeliner 管理的列表中,點選該列表,可進入詳細資料頁面。 ![](https://man.twcc.ai/uploads/upload_54d8b6f3544bb9c11c41308141a14091.png) ### 設定金鑰 #### 變更金鑰權限 * 在金鑰列表中,系統預設會產生一組具讀取權限的金鑰,如欲賦予此金鑰寫入權限,請點擊「寫入權限」下方的開關圖示,打開寫入權限。 ![](https://man.twcc.ai/uploads/upload_8f599909da7404e4c6b0ac9c668a7a2a.png) #### 編輯金鑰 * 點擊金鑰列表右側的![more button](https://man.twcc.ai/uploads/upload_e519dedb90b4246c02e6e82b2aba21e8.svg)<span> 選單按鈕,再按一下「編輯」。 ![](https://man.twcc.ai/uploads/upload_98aecbbecc051b0c70ffbadbfd857c15.png) * 在「編輯金鑰」的視窗可更改金鑰的名稱或設定金鑰的有效時間,金鑰預設為無期限,取消勾選「無期限」,在「延長天數」輸入數字,可設定有效天數。 ![](https://man.twcc.ai/uploads/upload_750aef8b2e9af421838d4c9898892b1f.png) #### 新增金鑰 * 點擊金鑰列表下方的「新增金鑰」,可新增一組讀取權限的金鑰。 ### 啟用 MQTT * 進入資料管線的詳細資料頁面後,點擊 MQTT 右邊的「啟動」,進入 MQTT 設定頁面。 ![](https://man.twcc.ai/uploads/upload_df1158b420d8e6cfda5f2b67c0428355.png) * 進入 MQTT 設定頁面,可點擊複製圖示取得 MQTT Topic 的值。點擊「啟用」,可透過 publish 至 MQTT Topic,將資料以 MQTT 的方式傳送至資料庫。 * 在資料架構設定區,剛建立的資料欄位會被加入在「已加入」區塊,可以用拖拉方式來調整排序及增減資料欄位,變更後請點擊「更新」。資料欄位會以不同顏色顯示,藍色:鍵值;淺綠:屬性值(非必要)深綠色:屬性值(必要)。 ![](https://man.twcc.ai/uploads/upload_78aa357782c43cd3f8004015608d6a8b.png) * MQTT 啟用後,回到資料管線詳細資料頁面, MQTT 右邊的「啟動」按鈕會變成「設定」。 ![](https://man.twcc.ai/uploads/upload_4e9ddd34de1b00f4bc81500e2f3a221d.png) ### 編輯資料架構 * 進入資料管線詳細資料頁面,點擊資料架構右側的「編輯資料架構」。 ![](https://man.twcc.ai/uploads/upload_28381066f0a18f6c4d0e61ac9d3392d7.png) * 進入編輯資料架構頁面後,點擊「新增」。 ![](https://man.twcc.ai/uploads/upload_9ac31c783c56214fd4377364430f9644.png) * 輸入欲增加的屬性設定後,點擊「更新」。 ![](https://man.twcc.ai/uploads/upload_39c64dcf9ce9be87a464382c0e65914f.png) * 回到資料管線詳細資料頁面後,新增的資料欄位會出現屬性值列表的最下方,接著點擊 MQTT 右方的「設定」。 ![](https://man.twcc.ai/uploads/upload_186c8622cd8413948c9e550b93f1c42a.png) * 新增的資料欄位會出現在未加入區,將接欄位拖曳至已加入區,再點擊「更新」即生效。 ![](https://man.twcc.ai/uploads/upload_15b3a1938ca8a794a8790f444a886fe9.png) :::info :warning: 注意:資料架構異動會影響裝置資料的擷取,故需由使用者手動加入,點擊「更新」才會生效。 ::: ## S3 資料型態 選擇 S3 資料型態可透過 MQTT 或 WebSocket 通訊協定將資料儲存於 TWCC 雲端物件儲存(COS)服務。 :::info :warning: 注意:選擇 S3 資料型態需先在 TWCC 雲端物件儲存(COS)服務建立儲存體。請參閱 [雲端物件儲存文件](https://www.twcc.ai/doc?page=object)。 ::: * 進入「Data Pipeliner」管理頁面,點擊「+新增資料管線」,選擇 S3 資料庫型態,並選擇儲存體,接著點擊「下一步:檢閱+建立」。 ![](https://man.twcc.ai/uploads/upload_0c1fe725242050d4d2fa8a5fb0739f75.png) ![](https://man.twcc.ai/uploads/upload_cd8187515fd117d17bc19b504faf400f.png) ![](https://man.twcc.ai/uploads/upload_0c9a1fadeabac020bbc382f30bcd1fa9.png) :::info :warning: 注意:一個儲存體只能對應一個 S3 資料管線。 ::: * 檢視資料管線建立的資訊,確定後點選「建立」即完成。 ![](https://man.twcc.ai/uploads/upload_16ee59a79dcd68599de21a787ce67da8.png) * 資料管線建立後,會出現在 Data Pipeliner 管理的列表中,點選該列表,進入詳細資料頁面。 ![](https://man.twcc.ai/uploads/upload_689a4309c2d66173659135f9e28e395b.png) ![](https://man.twcc.ai/uploads/upload_3f9732dca0604f37e73460159700b7fd.png) ### 設定金鑰 * 點擊金鑰列表下方的「新增金鑰」,即會自動新增一組具寫入權限的金鑰。點擊金鑰列表右側的![more button](https://man.twcc.ai/uploads/upload_e519dedb90b4246c02e6e82b2aba21e8.svg)<span> 選單按鈕,可進行金鑰的「編輯」或「删除」。 ![](https://man.twcc.ai/uploads/upload_1b47cdb5e52a151d40370aedffb22b0d.png) ### 啟用 MQTT * 進入S3 資料管線的詳細資料頁面後,點擊「啟動」。 ![](https://man.twcc.ai/uploads/upload_8d7f9122eec68247c09f15fd6dc6b345.png) * 進入 MQTT 設定頁面,點擊「新增」。 ![](https://man.twcc.ai/uploads/upload_6a4633f9492dd722b4c40bf3a02debcb.png) * 輸入欲存入至 S3 儲存體的檔案名稱及副檔名,再點擊「確定」。 ![](https://man.twcc.ai/uploads/upload_ac7f7e43b50bf79eeea84c26f32e3633.png) * 檔案設定好後會新增一筆 MQTT TOPIC 資訊,按一下列表右側的開關,啟用此 MQTT Topic。 ![](https://man.twcc.ai/uploads/upload_5b601730d40f9e46b859dfe2e363904c.png) ### 編輯 MQTT * 進入S3 資料管線的詳細資料頁面後,點擊 MQTT 右方的「管理」。 ![](https://man.twcc.ai/uploads/upload_b4f5468a0970b349cbbb321b3fbd19c8.png) #### 新增 MQTT Topic * 進入 MQTT 設定頁面,點擊「新增」。 ![](https://man.twcc.ai/uploads/upload_a3b2be3f916dd4ca9706866762aa6c25.png) * 輸入檔案名稱及副檔名,再點擊「確定」。 ![](https://man.twcc.ai/uploads/upload_610fc59ade03c74fdcdeb1354f05817a.png) #### 編輯 MQTT Topic * 進入 MQTT 設定頁面,點擊 TOPIC 列表右側的三個圖示,可編輯 Topic 對應的名稱及副檔名、删除 Topic 或啟用/停用 Topic。 ![](https://man.twcc.ai/uploads/upload_1085dea9aae56345caebcfc74974826b.png) ## Data Pipeliner 管理 * 資料管線建立後,會出現在 Data Pipeliner 管理列表中,點選該列表,可進入詳細資料頁面。 ![](https://man.twcc.ai/uploads/upload_80c138f6d68b45289c0eb7e714704bd3.png) * 點選「資料庫型態」選單可切換不同型態的資料列表。 ![](https://man.twcc.ai/uploads/upload_2663d34ea25e2ac33f0b57fa950f95a1.png) ### 刪除 Data Pipeliner 服務 * 進入資料管線的詳細資料頁面後,點擊列表右側的![more button](https://man.twcc.ai/uploads/upload_e519dedb90b4246c02e6e82b2aba21e8.svg)<span> 選單按鈕,再按一下「刪除」。 :::info :warning: 注意:Data Pipeliner 一旦刪除,資料將無法恢復!刪除後將會停止計算費用。 :::