---
# System prepended metadata

title: Data Pipeliner
tags: [TWCC II]

---

---
tags: 'TWCC II'
---

# Data Pipeliner

[TOC]

Data Pipeliner 是物聯網（IOT）資料儲存平台，具備安全可靠、低延遲及高擴充性，提供 MQTT、RESTful API 及 WebSocket 等前端資料接口，讓軟體開發人員簡單快速的建立資料管線、連接擷取、儲存分析 IOT 裝置的資料。

## 建立資料管線

* 由服務列表點選「Data Pipeliner」，進入「Data Pipeliner」管理頁面，點擊「＋新增資料管線」。

![](https://man.twcc.ai/uploads/upload_1a062fea28de9ae184e4b6821b16d289.png)

Data Pipeliner 目前提供多種資料庫型態，分別說明如下：

## TSDB 資料型態 

選擇 TSDB（Time Series Database）資料庫型態，開發者可自行定義資料結構，並賦予不同存取權的金鑰，透過 MQTT 及 RESTful API 將裝置的資料存入 TSDB。

* 選擇 TSDB 資料庫型態，並填寫資料管線的名稱及描述，接著點擊「下一步：資料架構設定>」。
    
![](https://man.twcc.ai/uploads/upload_728f8a0f8d43032165ed445e5d3ee8f8.png)

### 建立資料庫架構
* 資料庫架構設定頁面可自訂 TSDB 的 Schema，依畫面所示，輸入鍵值及屬性值之名稱、資料型態、長度限制及必要資料等設定。點擊「新增」可增加一列設定項目。

:::info
:warning: 注意：至少需建立一組鍵值。
:::
    
![](https://man.twcc.ai/uploads/upload_43d96b06da4a8a09b463b757a27b7dd7.png)

* 設定完成後點擊「下一步：檢閱+建立」。

![](https://man.twcc.ai/uploads/upload_510055dd8f4f17253ec4c860e436aab3.png)

* 檢視資料管線建立的資訊，確定後點選「建立」。

![](https://man.twcc.ai/uploads/upload_270e4cd7c4984ab2030fe6ababedcc36.png)

* 資料管線建立後，會出現在 Data Pipeliner 管理的列表中，點選該列表，可進入詳細資料頁面。

![](https://man.twcc.ai/uploads/upload_54d8b6f3544bb9c11c41308141a14091.png)

### 設定金鑰

#### 變更金鑰權限

* 在金鑰列表中，系統預設會產生一組具讀取權限的金鑰，如欲賦予此金鑰寫入權限，請點擊「寫入權限」下方的開關圖示，打開寫入權限。

![](https://man.twcc.ai/uploads/upload_8f599909da7404e4c6b0ac9c668a7a2a.png)


#### 編輯金鑰

* 點擊金鑰列表右側的![more button](https://man.twcc.ai/uploads/upload_e519dedb90b4246c02e6e82b2aba21e8.svg)<span> 選單按鈕，再按一下「編輯」。
    
![](https://man.twcc.ai/uploads/upload_98aecbbecc051b0c70ffbadbfd857c15.png)

* 在「編輯金鑰」的視窗可更改金鑰的名稱或設定金鑰的有效時間，金鑰預設為無期限，取消勾選「無期限」，在「延長天數」輸入數字，可設定有效天數。

![](https://man.twcc.ai/uploads/upload_750aef8b2e9af421838d4c9898892b1f.png)

#### 新增金鑰
    
* 點擊金鑰列表下方的「新增金鑰」，可新增一組讀取權限的金鑰。
    

### 啟用 MQTT

* 進入資料管線的詳細資料頁面後，點擊 MQTT 右邊的「啟動」，進入 MQTT 設定頁面。

![](https://man.twcc.ai/uploads/upload_df1158b420d8e6cfda5f2b67c0428355.png)

* 進入 MQTT 設定頁面，可點擊複製圖示取得 MQTT Topic 的值。點擊「啟用」，可透過 publish 至 MQTT Topic，將資料以 MQTT 的方式傳送至資料庫。
    
* 在資料架構設定區，剛建立的資料欄位會被加入在「已加入」區塊，可以用拖拉方式來調整排序及增減資料欄位，變更後請點擊「更新」。資料欄位會以不同顏色顯示，藍色：鍵值；淺綠：屬性值（非必要）深綠色：屬性值（必要）。  

![](https://man.twcc.ai/uploads/upload_78aa357782c43cd3f8004015608d6a8b.png)
    
* MQTT 啟用後，回到資料管線詳細資料頁面， MQTT 右邊的「啟動」按鈕會變成「設定」。
    
![](https://man.twcc.ai/uploads/upload_4e9ddd34de1b00f4bc81500e2f3a221d.png)
    
 
### 編輯資料架構
    
* 進入資料管線詳細資料頁面，點擊資料架構右側的「編輯資料架構」。   
    
![](https://man.twcc.ai/uploads/upload_28381066f0a18f6c4d0e61ac9d3392d7.png)
 
* 進入編輯資料架構頁面後，點擊「新增」。
    
![](https://man.twcc.ai/uploads/upload_9ac31c783c56214fd4377364430f9644.png)

* 輸入欲增加的屬性設定後，點擊「更新」。
    
![](https://man.twcc.ai/uploads/upload_39c64dcf9ce9be87a464382c0e65914f.png)
 
* 回到資料管線詳細資料頁面後，新增的資料欄位會出現屬性值列表的最下方，接著點擊 MQTT 右方的「設定」。
    
![](https://man.twcc.ai/uploads/upload_186c8622cd8413948c9e550b93f1c42a.png)

* 新增的資料欄位會出現在未加入區，將接欄位拖曳至已加入區，再點擊「更新」即生效。   

![](https://man.twcc.ai/uploads/upload_15b3a1938ca8a794a8790f444a886fe9.png)

   
:::info
:warning: 注意：資料架構異動會影響裝置資料的擷取，故需由使用者手動加入，點擊「更新」才會生效。
:::  
    
## S3 資料型態

選擇 S3 資料型態可透過 MQTT 或 WebSocket 通訊協定將資料儲存於 TWCC 雲端物件儲存（COS）服務。

:::info
:warning: 注意：選擇 S3 資料型態需先在 TWCC 雲端物件儲存（COS）服務建立儲存體。請參閱 [雲端物件儲存文件](https://www.twcc.ai/doc?page=object)。
::: 
* 進入「Data Pipeliner」管理頁面，點擊「＋新增資料管線」，選擇 S3 資料庫型態，並選擇儲存體，接著點擊「下一步：檢閱+建立」。
    
 
    
![](https://man.twcc.ai/uploads/upload_0c1fe725242050d4d2fa8a5fb0739f75.png)

![](https://man.twcc.ai/uploads/upload_cd8187515fd117d17bc19b504faf400f.png)
    
![](https://man.twcc.ai/uploads/upload_0c9a1fadeabac020bbc382f30bcd1fa9.png)
    
:::info
:warning: 注意：一個儲存體只能對應一個 S3 資料管線。
:::  
    
* 檢視資料管線建立的資訊，確定後點選「建立」即完成。

![](https://man.twcc.ai/uploads/upload_16ee59a79dcd68599de21a787ce67da8.png)
    
* 資料管線建立後，會出現在 Data Pipeliner 管理的列表中，點選該列表，進入詳細資料頁面。
   

![](https://man.twcc.ai/uploads/upload_689a4309c2d66173659135f9e28e395b.png)

![](https://man.twcc.ai/uploads/upload_3f9732dca0604f37e73460159700b7fd.png)    
### 設定金鑰
    
* 點擊金鑰列表下方的「新增金鑰」，即會自動新增一組具寫入權限的金鑰。點擊金鑰列表右側的![more button](https://man.twcc.ai/uploads/upload_e519dedb90b4246c02e6e82b2aba21e8.svg)<span> 選單按鈕，可進行金鑰的「編輯」或「删除」。
    
![](https://man.twcc.ai/uploads/upload_1b47cdb5e52a151d40370aedffb22b0d.png)


### 啟用 MQTT 
* 進入S3 資料管線的詳細資料頁面後，點擊「啟動」。
    
![](https://man.twcc.ai/uploads/upload_8d7f9122eec68247c09f15fd6dc6b345.png)

* 進入 MQTT 設定頁面，點擊「新增」。   
    
![](https://man.twcc.ai/uploads/upload_6a4633f9492dd722b4c40bf3a02debcb.png)

* 輸入欲存入至 S3 儲存體的檔案名稱及副檔名，再點擊「確定」。

![](https://man.twcc.ai/uploads/upload_ac7f7e43b50bf79eeea84c26f32e3633.png)

* 檔案設定好後會新增一筆 MQTT TOPIC 資訊，按一下列表右側的開關，啟用此 MQTT Topic。
    
![](https://man.twcc.ai/uploads/upload_5b601730d40f9e46b859dfe2e363904c.png)

### 編輯 MQTT
* 進入S3 資料管線的詳細資料頁面後，點擊 MQTT 右方的「管理」。
    
![](https://man.twcc.ai/uploads/upload_b4f5468a0970b349cbbb321b3fbd19c8.png)
    
#### 新增 MQTT Topic
    
* 進入 MQTT 設定頁面，點擊「新增」。 
    
![](https://man.twcc.ai/uploads/upload_a3b2be3f916dd4ca9706866762aa6c25.png)

* 輸入檔案名稱及副檔名，再點擊「確定」。
    
![](https://man.twcc.ai/uploads/upload_610fc59ade03c74fdcdeb1354f05817a.png)
    
#### 編輯 MQTT Topic
    
* 進入 MQTT 設定頁面，點擊 TOPIC 列表右側的三個圖示，可編輯 Topic 對應的名稱及副檔名、删除 Topic 或啟用/停用 Topic。   
    
![](https://man.twcc.ai/uploads/upload_1085dea9aae56345caebcfc74974826b.png)    
    
## Data Pipeliner 管理

* 資料管線建立後，會出現在 Data Pipeliner 管理列表中，點選該列表，可進入詳細資料頁面。

![](https://man.twcc.ai/uploads/upload_80c138f6d68b45289c0eb7e714704bd3.png)

* 點選「資料庫型態」選單可切換不同型態的資料列表。
    
![](https://man.twcc.ai/uploads/upload_2663d34ea25e2ac33f0b57fa950f95a1.png)
  
### 刪除 Data Pipeliner 服務
    
* 進入資料管線的詳細資料頁面後，點擊列表右側的![more button](https://man.twcc.ai/uploads/upload_e519dedb90b4246c02e6e82b2aba21e8.svg)<span> 選單按鈕，再按一下「刪除」。

:::info
:warning: 注意：Data Pipeliner 一旦刪除，資料將無法恢復！刪除後將會停止計算費用。
:::
    
