---
title: 資料集平台_使用手冊與平台宣告
tags: TWCCTutorial, Scidm, TW
---
copied from : [使用者手冊-Scidm](https://scidm.nchc.org.tw/pages/user-manual)
- [A.權利與義務宣告事項](/Yo7v7qfiSnO1_nrzpG-nBg)
- [B.註冊登入](/4szB78smRa-hQ4uF7QtI4g)
# A.權利與義務宣告事項
為了因應巨量資料應用及人工智慧發展對於資料之需求，財團法人國家實驗研究院國家高速網路與計算中心(簡稱國網中心)建置本資料平台，以資料與研究的媒合為宗旨，提供資料上架、展示、下載及API介接等多種服務模式，以便利公眾資料共享，促進巨量資料加值再利用。同時，為使本平台運作具明確的參考準則，以資料為主軸媒介，根據資料之提供、取用與系統平台等三個角色，與此規範文件中宣告此三行為角色之權益與相關義務。
## 1.系統平台
系統平台（含系統管理員）之主要權利與義務宣告如下：
:::info
1. 提供使用者對平台系統之詢問管道，如：服務建議與問題協助表單
1. 協助系統使用上之故障排除
1. 協助資料取用者取得各資料提供者之連繫管道
1. 呈上點，若資料提供者無法對其資料善盡管理之義務，系統有權對該資料進行管制（如：資料下架、回收組織管理之權限、...等）
1. 提供回報對於不適當資料之揭露（如：具隱私資料）有權進行緊急處理（如：暫時性下架）
1. 呈上點，管理員需通報資料提供者進行處理；於完成處理前，系統有權對該資料集進行管制（如：資料集下架、調整為非開放）
1. 提供資料提供者上架技術之諮詢（視需求可為收費服務）
:::
## 2.資料提供者
資料提供者系指有權限進行資料上架之行為帳號，包含組織管理員、組編輯者與經授權之個別資料集管理者。
資料提供者之主要權利與義務宣告如下：
:::info
1. 提出資料上架之需求，待審核通過則俱備其對應之管理權利，如下：
1. 資料上架、刪除權限
1. 詮釋資料編修權限
1. 資料授權使用權限
1. 組織成員管理
2. 有義務對釐清並標示上架之資料授權與使用條款（若需要），並承擔因授權不當之後續法律之責任
3. 有義務善儘管理所負責之相關申請人所提供之資料；若有需要，本平台有權要求資料提供者配合法規或調查要求之事宜
4. 提供對應之公開連繫窗口，以提供資料使用者或系統管理員之諮詢或緊急事件之處理。若未能善儘其相對義務，本平台根據本規範之 1.4 條，有權進行其權力之回收。
5. 組織管理員有義務審核使用者所提出之非開放資料集之申請單，並自行維護資料權限開通之事宜。
:::
## 3.資料取用者
資料取用者系指透過本平台取用資料之行為帳號；包含無登入之訪客與具帳號登入之帳號。
資料取用者之主要權利與義務宣告如下：
:::info
1. 有義務遵循本平台之相關隱私權規定
1. 對於不適當之資料揭露，可透過連繫窗口向資料提供者或系統管理員反應。
1. 有權提出註銷於本平台存放之相關個人資訊，於同時系統有權回收此帳號之相關資料使用權利。
1. 呈上點，提供予資料管理者之個人資訊，得需向資料提供者提出註銷請求，本平台無完成此請求之義務。
1. 不當使用資料或違反授權條款使用資料或其衍生資料，本平台有權中斷其使用權利並行使法律追究權；若造成平台或第三者權利受損，本平台亦有義務提供相關資料配合法律調查。
:::
# B.註冊登入
## 註冊
1. 進入「[:link:資料集平台](http://scidm.nchc.org.tw/)」網站
1. 點選右上角「<font size=4>**註冊**</font>」，進入註冊頁面。
1. 點選「<font size=4>**申請帳號**</font>」，會導引到另外一個網站，[:link:計算主機資源網](https://iservice.nchc.org.tw/nchc_service/index.php)：
1. 點選計算主機資源網右上角的<font size=4>**登入/註冊**</font> <i class="fa fa-user" aria-hidden="true"></i> ，如下：
1. 出現註冊/登入視窗，選擇「<font size=4>**現在就加入會員**</font>」。
1. 閱讀服務條款之約定完畢後，至最下面點選「<font size=4>**我同意**</font>」。
1. 資料集平台目前支援email的方式註冊（紅框所示），也可以使用第三方註冊的方式，如臉書、Google+和EduRoam。選擇您要註冊的方式。
1. 同個視窗拖曳到底，可看到申請人基本資料，填入有標示的表格填入，並點擊「<font size=4>**繼續填寫**</font>」。
1. 申請主機帳號資料，可隨機產生主機帳號或是自訂帳號，並鍵入主機密碼，然後點擊「<font size=4>**下一步**</font>」。
1. 前往註冊信箱收認證信。
1. 認證信內容如下，點擊連結完成帳號啟動程序。
1. 最後一步，進行手機認證，點擊「<font size=4>**手機認證**</font>」，系統將發送認證簡訊。
1. 鍵入認證簡訊6碼，點擊「<font size=4>**確認**</font>」進行驗證，如下圖所示。
1. 恭喜您完成帳號註冊！！
## 登入
1. 須使用[:link:iService網站](https://iservice.nchc.org.tw/nchc_service/index.php) 之「<font size=4 color="#009E9E">**主機帳號**</font>」與「<font size=4 color="#009E9E">**主機密碼**</font>」登入「國網中心資料集平台」。欲查詢主機帳號密碼步驟如下。
- 登入 iService 計算支援服務網後，會員中心中有個<font size=4 color="#009E9E">主機帳號資訊</font>(橘色方框)，這也是用來開啟資料集相關存取權限的依據。
- 點擊主機帳號資訊後，顯示的頁面如下，若是忘記主機密碼，可進行變更。
1. 鍵入「[:link:國網中心資料集平台](http://scidm.nchc.org.tw)」。點選右上角「<font size=4>**登入**</font>」，進入登入頁面。（備註：<font size=4 color="#009E9E">**使用者名稱：主機帳號，密碼：主機密碼**</font>）
1. 填入名稱與其密碼(綠圓點處)，之後點選「<font size=4>**登入**</font>」。
1. 頁面自動轉向已登入頁面，點選 <i class="fa fa-cog" aria-hidden="true"></i> 圖示：（進入編修個人資料頁面）
## 編修個人資料
1. 進入編輯頁面，可自行修改 <font color="#009400">「全名」、「電子郵件」、「密碼」、...</font>等個人資訊。變更密碼時，需要先輸入舊密碼，並輸入兩次相同要變更的新密碼。輸入後點選「<font size=4>**更新個人資料**</font>」進行更新。
1. 變更成功後，可看到頁面顯示「<font color="009400" size=4>**個人資料更新**</font>」資訊。
## 查詢個人API金鑰
1. 於資料集平台網站點擊右上角的使用者圖示，如下圖紅框所示。
1. 接著直接進入使用者頁面，個人 <font size=4>**API 金鑰**</font>則在圖片左下紅框的地方。
# C.資料取用
## 資料取用流程圖
## 付費資料取用流程圖
## 搜尋
於[:link:資料市集平台](http://scidm.nchc.org.tw)首頁，有兩處可進行資料集搜尋（如下圖所示），直接鍵入自己想要搜尋的資料集。
或者點擊上圖所示的「<font size=4 color="#009400">**資料集**</font>」，即可進入下圖的頁面：
搜尋功能簡述如下：
- 支援中文字詞
- 使用 MMSeg 分詞工具
- 雙引號使用
- 提供對名稱、詮釋資料、標籤、進行搜尋
## 檢視列表
資料集分為<font color="#FF1C1C">受限型資料集（需申請審核或付費審核）</font>與<font color="#009400">開放型資料集</font>。<font color="#FF1C1C">受限型資料集</font>分為<font size=4>**一般審核**</font>與<font size=4>**付費審核**</font>，申請審核流程如[:link:**資料提供流程圖**](https://hackmd.io/ihk5yC7qQYKi3Op9TBOFJQ?both#%E8%B3%87%E6%96%99%E5%8F%96%E7%94%A8%E6%B5%81%E7%A8%8B%E5%9C%96)與[:link:**付費資料取用流程圖**](https://hackmd.io/ihk5yC7qQYKi3Op9TBOFJQ?both#%E4%BB%98%E8%B2%BB%E8%B3%87%E6%96%99%E5%8F%96%E7%94%A8%E6%B5%81%E7%A8%8B%E5%9C%96)所示。<font color="#009400">開放型資料集</font>可直接進行下載，無須登入資料平台。
## 下載資源
以組織-資料平台計劃專區的資料集（公開文件）為例，下載資源的方式如下圖所示。
# D.資料提供
資料提供流程相關說明：
1. 若無組織，則提出資料上架申請的使用者必須為<font size=4>**註冊會員**</font>，管理者會依據當時提供的名稱和描述新增組織，並MAIL通知使用者。申請新組織資訊不完整，系統管理員則會無法協助創建。
1. 若組織已存在，則須得到<font size=4>**組織管理員**</font>的同意，才可進行資料上架。
而詳細流程圖如下，
## 資料提供流程圖
:::info
- :information_source: 註1：新組織提出申請：:link:https://scidm.nchc.org.tw/contact ，填寫範例如下圖。種類：<font color="#009400">平台合作(提供資料集)</font>，並提供需要創建的<font color="#009400">組織名稱與描述</font>。
- :information_source: 註2：申請平台登入帳號網站：[:link:iServices](https://iservice.nchc.org.tw/nchc_service/index.php) ，教學請詳見[:link:註冊、登入章節](https://hackmd.io/ihk5yC7qQYKi3Op9TBOFJQ?both#%E8%A8%BB%E5%86%8A)。
:::
## 創建組織
1. 於[:link:資料市集平台](scidm.nchc.org.tw)。點選右上角「<font size=4>**登入**</font>」，進入登入頁面。
1. 填入使用者名稱與其密碼，請輸入iService 服務網所申請之對應<font size=4 color="#009E9E">**主機帳號密碼**</font>。（使用者名稱：主機帳號、密碼：主機密碼），之後點選「<font size=4>**登入**</font>」。
1. 登入後在帳號資訊頁面上點選「<font size=4>**組織**</font>」。
1. 進入組織頁面，點擊「<font size=4>**新增組織**</font>」，創建新的組織。
1. 進入建立組織頁面後，請填入名稱、網址、說明，並上傳組織圖片或提供圖片連結，最後點擊「<font size=4>**建立組織**</font>」。
1. 完成建立組織之後，即可進行上傳相關資料集。
## 創建資料集/資料上架
1. 完成組織創建後，欲上傳資料集，請點擊「<font size=4>**新增資料集**</font>」。
1. 進入「<font color="#009400" size=4>建立資料集</font>」頁面；建議點選「標題」下方之「網址」的「<font size=4>**編輯**</font>」， 使用額外編輯 UUID 功能，以避免系統自動判斷時不接受雙位元字元。<font color="FF1C1C">網址</font>參數可修改部份為此資料集之UUID，若送出時有錯誤，應已有重複之 UUID ，請自行變更。
1. 請選擇其適合之授權方式
:::warning
:warning: 關於授權
假若選擇「<font color="1C1CFF" size=4>01 MOST-完全公開</font>」，建議變更公開模式，選項為「<font color="1C1CFF" size=4>公開</font>」；其餘則維持「<font color="1C1CFF" size=4>需申請審核</font>」即可。資料集是否公開搜尋，True為開放搜尋、False為不可搜尋。
:::
4. 請務必填入「<font color="1C1CFF" size=4>作者</font>」與「<font color="1C1CFF" size=4>作者電子郵件</font>」資訊，以便後續資料維護與連繫。需要填寫的欄位如黃點所示。
:::info
:information_source: 各欄位說明：（*為必填）
- ***標題：資料集的名稱**。
- ***網址：資料集專屬的網址**。
- ***說明：資料集相關描述**。
- 標籤：可設定相關hash tag，進行資料集分類。
- 共享範圍/授權：依資料集授權方式，選擇適當授權。
- 組織：此為預設，不需進行選擇。
- ***公開模式：
a. 需申請審核：該資料集須提出申請，相關單位審核通過方可取用
b. 公開：直接進行下載，無須登入平台會員**。
- ***searchable：資料集是否顯示在搜尋結果**。
- Allowed Users：允許存取資料集的使用者。
- Allowed Editors：允許對資料集進行相關編輯的使用者。
- 來源：可填網址，資料集出處。
- 版本：資料集版本。
- ***作者：資料集作者**。
- ***作者的電子郵件：資料集作者的電子郵件**。
- 維護者：維護資料集主要負責人。
- 維護者的電子郵件：維護資料集負責人電子郵件。
:::
5. 客製化欄位請視需要自行填寫，如紅框所示，填寫完畢請點擊「<font size=4>**下一步：新增資料**</font>」。
1. 進入「新增資料」頁面；點選「<font size=4>**上傳**</font>」並於檔案瀏覽器中選擇欲上傳之檔案或網站連結。
1. 點選 「Open」後，名稱欄位會動判斷；也可自行指定名稱。確認後點選「結束」；若還有其他檔案需要匯入，則可點選「<font size=4>**儲存並新增其他項目**</font>」。客製化欄位可自行填寫相關資訊。完成後，點擊「<font size=4>**下一步**</font>」，進入資料集下載方式與更新頻率。
1. 建立資料集下載方式與更新頻率，並點擊<font size=4>**確定**</font>。
- 若需進一步修改該資料集付費方式，可至資料集頁面，選擇「<font size=4 color="#009400">**管理**</font>」進行修改。
- 修改完成後並點擊更新。（**未來將開放付費模式*）
9. 完成資料匯入，並列表顯示。
## 資料結構
:::info
- 階層：組織 → 資料集 → 資源(resource)，可參考上圖
- 資源(Resource): 可以是檔案或 URL
- 特定檔案格式可提供資料檢視：
- 直接瀏覽：
- Photo：.jpg | .png | ...
- Text ：.txt |.json |.xml |…
- PDF：需已安裝 PDF preview plug-in
- 資料表格、分頁顯示：
- CVS 格式
- 資料繪圖：必須為 CVS 格式
- 數值繪圖
- 以 temperature.csv 為例繪製：點佈/折線/長條圖
- 地理繪圖：必須為 CVS 格式，並內容有經、緯度資訊
- 以「新竹市消防局消防分隊駐地位置座標_lat-lon.csv」：選擇經、緯度欄位
- 以「彰化縣路口號誌經緯度資料.GeoJSON.csv」：選擇 GeoJSON 欄位
- 檔案大小
- 單一檔案大小不超過
- 系統設定值：10 Gigabyte (GB)
- 建議值：不超過 2GB
- Plain text 檔案建議不超過 50M
- Preview 時避免造成瀏覽器負載過重：目前只顯示前 50 行內容
- 建議壓縮後上傳 ；並提供部份資料
- 資料集內檔案數量建議不超過512個
- 避免影響資料集列表效能：目前採分頁顯示 (50 items / page)
- 使用 API 需注意自行加入參數處理
:::
## 上架流程
資料上架流程說明如下：
1. 當新組織創建完成（使用者會收到平台管理者確認信），就可以進行資料上架。
1. 若已有隸屬組織，則須要取得組織管理員同意，使用者可以進行上架。
1. 若以上兩種情況均不同意，就無法允許使用者上架資料至平台。
## 資料上傳
## 【以NCHC-教學示範展示區為例】
### 登入
1. 於[:link:資料市集平台](scidm.nchc.org.tw)。點選右上角「<font size=4>**登入**</font>」，進入登入頁面。
1. 填入使用者名稱與其密碼，請輸入[:link:iService 服務網](https://iservice.nchc.org.tw/nchc_service/index.php)所申請之對應主機帳號密碼。（<font size=4 color="#009E9E">**使用者名稱：主機帳號、密碼：主機密碼**</font>），之後點選「<font size=4>**登入**</font>」。
1. 登入後畫面為「<font color="#009400">**儀表板**</font>」，請點選「<font size=4>**我的組織**</font>」
### 確認資料集所屬組織
1. 進入「<font color="#009400">**我的組織**</font>」後，選擇欲新增資料集之目標「<font size=4>**組織**</font>」
### 新增資料集
1. 進入目標組織後，確認組織，並點選「<font size=4>**新增資料集**</font>」
1. 進入「<font color="#008000" size=4>建立資料集</font>」頁面；建議點選「標題」下方之「網址」的「<font size=4>**編輯**</font>」， 使用額外編輯 UUID 功能，以避免系統自動判斷時不接受雙位元字元。
- 注意事項：<font size=4 color="#FF1C1C">**網址參數**</font>可修改部份為此資料集之UUID，若送出時有錯誤，應已有重複之 UUID ，請自行變更
1. 填寫資料集相關描述欄位，下圖<font color="#009400">綠標</font>為建議填寫資訊。
1. 注意事項如下：
:::warning
:warning: 關於授權
- <font color="#FF1C1C">共享範圍/授權、公開模式</font> 選項請選擇其適合之<font color="1C1CFF">授權方式</font>；以NCHC-教學示範展示區為例：若選擇「<font color="1C1CFF">01 政府資料開放授權</font>」，建議變更公開模式選項為「公開」；其餘則維持「不公開」，如下圖所示。
- 使用協定及其他相關資訊請見： http://opendefinition.org/licenses/
- 請務必填入「作者」與「作者電子郵件」資訊，以便後續資料維護與連繫。
- 客製化欄位請視需要自行填寫。
- 填寫完畢，所有欄位確認無誤後，請點擊「<font size=4>**下一步：新增資料**</font>」
:::
5. 進入「<font color="#009400">新增資料</font>」頁面；點選「<font size=4>**上傳**</font>」並於檔案瀏覽器中選擇預上傳之檔案，或點選「<font size=4>**連結**</font>」填入目標網址連結。
1. 上傳完畢後，名稱欄位會自動判斷；也可自行指定名稱。建議填寫說明欄位，讓資料取用者瞭解本次上傳資料集內容。待所有欄位確認無誤後，點選「<font size=4>**下一步**</font>」；若還有其他檔案需要匯入，則可點選「<font size=4>**儲存並新增其他項目**</font>」。
1. 進入「<font color="#009400">建立付費方式</font>」頁面；選擇欲上傳資料集之授權及更新頻率資訊，確認無誤後點選「<font size=4>**確定**</font>」。
1. 完成資料匯入，並列表顯示
# E.組織管理
## 【以NCHC-教學示範展示區為例】
## 登入資料平台
1. 進入[:link:資料集平台](scidm.nchc.org.tw)，並點擊右上方「<font size=4>**登入**</font>」。
2. 輸入使用者名稱（主機帳號）與密碼（主機密碼），並點擊「<font size=4>**登入**</font>」，以進行組織管理。
## 進行組織管理
3. 並於[:link:資料集平台](http://scidm.nchc.org.tw)首頁上方列點擊「<font size=4>**組織**</font>」，如紅框所示。
3. 選擇自己所屬的組織
3. 於「<font color="#009400">組織</font>」頁面點擊右上角「<font size=4>**管理**</font>，進行組織相關管理，如紅框所示。
6. 進入組織管理頁面，並分為以下管理功能，將一一說明。
## 組織管理功能說明
### 功能一：編輯
- 可進行變更圖片、組織名稱與相關說明。
### 功能二：資料集
- 可進行組織內之資料集相關設定，如刪除資料集或設定資料集開放模式(公開、需申請審核)。
### 功能三：成員
- 參與此組織的成員，權限分為：
:::info
:information_source: 組織成員角色
1. 管理者：可以新增/編輯和刪除資料集，以及管理組織成員。
1. 編輯： 可以新增和編輯資料集，但無法管理組織成員。
1. 一般成員： 可以瀏覽組織的私有資料集，但無法新增資料集。
:::
### 功能四：非公開資料集審查
可使用資料集種類、時間、使用者帳號查詢非公開資料集相關資訊，並進行非公開資料集審核。
- 若要使用非公開資料集審核，種類請選擇需申請審核，再進行<font size=4 color="1C1CFF">**查詢**</font>，狀態欄位中的綠色按鈕可進行審核。
- 審查視窗彈出後，即可選擇通過或不通過，並填入審核說明，最後點擊確認，會跑出<font size=4 color="1C1CFF">**審核**</font>成功的小視窗。
- 若審核通過，使用者就會收到申請成功通知信，即可對該資料集進行<font size=4 color="1C1CFF">**下載**</font>。
- 若審核不通過，使用者會收到申請不通過通知信，信中提及<font size=4 color="1C1CFF">**審核不通過的原因**</font>，使用者可再次對資料集提出申請，讓組織管理員<font size=4 color="1C1CFF">**重新審核**</font>。
### 功能五：簽署模板
新增非公開資料集申請時相關授權條款說明。
### 功能六：資料集統計
組織之資料集下載統計量，並可依照需求，使用時間區間和資料集種類進行篩選，共分五種不同方式統計方式，統計方式將依序說明：
:::info
:information_source: 資料集統計方式
1. 依分類統計：依目前組織分類之應用主題進行統計。
1. 依組織統計：依目前組織進行統計。
1. 依提供者統計：依資料集提供者進行統計。
1. 依使用者統計：依各個使用者（包含訪客）進行統計。
1. 依IP統計：依來源ip分為學術單位、海外民眾、企業民眾等。
:::
# F01.API使用
## CKAN API 說明
ckan 主要使用 restful api 模式進行，進行呼叫時可以用 http/https 送出需求，ckan 主機會回傳 json 格式字串，例如呼叫 group_list API 的時候，以瀏覽器輸入
https://scidm.nchc.org.tw/api/3/action/group_list
可以取得回傳值：
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=group_list",
"result": [
"nchc",
"most",
"privateset"
],
"success": true
}
```
回傳內容包含有 'help', 'result', 'success'
:::info
:information_source: 回傳內容說明
* help : 顯示相關 API 文件
* success : 回傳狀態, true 表示成功，false 表示失敗
* result : API 輸出內容
* error : 當回傳值 success 為 false 時，會有 error 字串顯示錯誤訊息
:::
例如：
```json=
{
"help": "Creates a package",
"success": false,
"error": {
"message": "Access denied",
"__type": "Authorization Error"
}
}
```
## Python + urllib 進行開發
範例：
```python=
#!/usr/bin/env python
import urllib2
import urllib
import json
import pprint
# Make the HTTP request.
response = urllib2.urlopen('https://scidm.nchc.org.tw/api/3/action/group_list', data_string)
assert response.code == 200
# Use the json module to load CKAN's response into a dictionary.
response_dict = json.loads(response.read())
# Check the contents of the response.
assert response_dict['success'] is True
result = response_dict['result']
pprint.pprint(result)
```
## Python + ckanapi 進行開發
需要先以 pip 安裝 ckanapi，其主要是為了ckan而設計的一系列函式庫，能夠提供開發者以較好的可讀性、除錯能力、支援性等優點，安裝與使用方式如下
```bash=
pip install ckanapi
```
範例：
```python=
from ckanapi import RemoteCKAN
ua = 'ckanapiexample/1.0 (+http://example.com/my/website)'
demo = RemoteCKAN('https://scidm.nchc.org.tw', user_agent=ua)
groups = demo.action.group_list(id='nchc')
print groups
```
## 常用 API 列表
| api | 說明 | 範例 |
|-----------------|--------------------|---------------------------------------------------------------|
| package_list | 資料集列表 | https://scidm.nchc.org.tw/api/3/action/package_list |
| group_list | 群組列表 | https://scidm.nchc.org.tw/api/3/action/group_list |
| tag_list | 標籤列表 | https://scidm.nchc.org.tw/api/3/action/tag_list |
| package_show | 取得資料集內容 | https://scidm.nchc.org.tw/api/3/action/package_show?id=mnist |
| tag_show | 取得標籤相關資料集 | https://scidm.nchc.org.tw/api/3/action/tag_show?id=空氣盒子 |
| group_show | 取得群組資料集 | https://scidm.nchc.org.tw/api/3/action/group_show?id=nchc |
| package_search | 資料集搜尋 | https://scidm.nchc.org.tw/api/3/action/package_search?q=mnist |
| package_create | 新增資料集 | https://scidm.nchc.org.tw/api/3/action/package_create |
| resource_create | 上傳資料 | https://scidm.nchc.org.tw/api/3/action/resource_create |
詳細說明與範例可參考：[API_開發手冊](https://ceasar-sun.gitbooks.io/scidm/content/)
## 更多 ckan API 定義
可以參考[官方CKAN API 手冊](https://docs.ckan.org/en/latest/api/)
# F02.API開發應用
透過 [CKAN](https://ckan.org/) 平台提供的預設 API 服務，使用者可以查詢/下載/管理資料。本資料市集使用 CKAN 平台提供 RESTful API 服務，方便使用者與開發者直接使用。常用的工具除了瀏覽器以外，也可以透過 Linux 指令 [cURL](http://curl.haxx.se/)，或是 ckanpi 指令/Python library 進行運用。相關工具說明如下：
cURL 是一個利用URL語法在命令列下工作的檔案傳輸工具，支援的通訊協定有 HTTP、HTTPS...等。
[ckanapi](https://github.com/ckan/ckanapi) 是一個專為 ckan 平台開發的應用程式、Python Library。除了可以直接使用指令也可用以快速進行 [ckan api](http://docs.ckan.org/en/latest/api/) 程式開發之用。
## 資料存取步驟
資料存取主要有3個步驟：[查詢資料集](https://ceasar-sun.gitbooks.io/scidm/content/api-shi-yong.html#step1) -> [取得資料集詮釋資料](https://ceasar-sun.gitbooks.io/scidm/content/api-shi-yong.html#step1) -> [取得資源列表資料(url)](https://ceasar-sun.gitbooks.io/scidm/content/api-shi-yong.html#step3)，即可下載檔案。
### 第一步:查詢資料集列表
以 package_list 列出資料集清單, 也可以利用[tag], [group], [search] 等方式取得資料集清單與資料集ID
| API 工具 | package_list (資料集清單) 定義 |
|----------|----------------------------------------------------------|
| curl | curl https://scidm.nchc.org.tw/api/action/package_list |
| ckanapi | ckanapi action package_list -r https://scidm.nchc.org.tw |
範例：
```bash=
curl https://scidm.nchc.org.tw/api/action/package_list
```
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=package_list",
"success": true,
"result": ["00000", ..... "mnist" ]
}
```
### 第二步:顯示資料集內容
以 package_show 列出資料集詮釋資料
| API 工具 | package_show (資料集詮釋資料) 定義 |
|----------|----------------------------------------------------------------------------------------------|
| curl | `curl -X POST https://scidm.nchc.org.tw/api/3/action/package_show -d '{"id":"資料集ID/名稱"}'` |
| ckanapi | `ckanapi action package_show -r https://scidm.nchc.org.tw id="資料集ID/名稱"` |
範例：
```bash=
curl -X POST https://scidm.nchc.org.tw/api/3/action/package_show -d '{"id":"mnist"}'
```
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=package_show",
"success": true,
"result": {
"license_title": "cc-by",
"relationships_as_object": [],
"private": false,
"num_tags": 1,
"id": "ef890176-6fd9-499d-9687-5fe2863c6941",
"metadata_created": "2018-03-07T08:41:56.898623",
"metadata_modified": "2018-03-20T16:37:36.011714",
"creator_user_id": "4360a7c1-74c3-467d-aeee-4a311390e03f",
"type": "dataset",
"resources": [
{
"description": "training set labels",
"name": "train-labels-idx1-ubyte.gz",
"url": "https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz",
"datastore_active": false,
"package_id": "ef890176-6fd9-499d-9687-5fe2863c6941",
"created": "2018-03-07T08:41:56.913326",
"state": "active",
"last_modified": "2018-03-07T08:44:32.097055",
"revision_id": "1fe43571-ffd8-4ef2-b28d-2d8a01dd5bd2",
"url_type": "upload",
"id": "c24b3977-b37e-40a9-88fc-993a65308830",
"resource_type": null,
"size": 28881
},...],
"num_resources": 4,
"license_id": "cc-by",
"name": "mnist",
"isopen": false,
"url": "",
"notes": "mnist 手寫辨識資料",
"owner_org": "1517dc0d-5312-4f7c-b602-1fdeecad09e4",
"title": "MNIST",
"revision_id": "38f46d2d-5c57-44af-93b0-5de4b3e40ddd"
}
}
```
由以上範例可以取得 resourceid (資源ID) 與 url, 如果需要資源的詳細資料可以透過 [resource_show] 取得
### 第三步:取得資源詳細資訊並下載資料
由上述資料集詮釋資料 或是由 特定 resource_show API 可以列出資源中的 url 資訊，即是檔案下載位置。
| API Tool | resource_show (資源詮釋資料)定義 |
|----------|--------------------------------------------------------------------------------|
| curl | `curl https://scidm.nchc.org.tw/api/3/action/resource_show -d '{"id":"資源ID"}'` |
| ckanapi | `ckanapi action resource_show -r https://scidm.nchc.org.tw id=資源ID` |
範例：
```bash=
curl -X POST https://scidm.nchc.org.tw/api/3/action/resource_show -d '{"id":"c24b3977-b37e-40a9-88fc-993a65308830"}'
```
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=resource_show",
"success": true,
"result": {
"mimetype": null,
"cache_url": null,
"hash": "",
"description": "training set labels",
"name": "train-labels-idx1-ubyte.gz",
"format": "",
"url": "https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz",
"datastore_active": false,
"cache_last_updated": null,
"package_id": "ef890176-6fd9-499d-9687-5fe2863c6941",
"created": "2018-03-07T08:41:56.913326",
"state": "active",
"mimetype_inner": null,
"last_modified": "2018-03-07T08:44:32.097055",
"position": 0,
"revision_id": "1fe43571-ffd8-4ef2-b28d-2d8a01dd5bd2",
"url_type": "upload",
"id": "c24b3977-b37e-40a9-88fc-993a65308830",
"resource_type": null,
"size": 28881
}
}
```
以上的 url 描述：
```
"url": "https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz",
```
就是資源的實際位置。
再以 wget 或是 瀏覽器 下載檔案
```python=
wget https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz
```
## 資料上架步驟
- 使用API 資料上架前需先確認兩項資訊：
- <font size=4 color="1C1CFF">**個人API_金鑰**</font>：點選任何畫面右上角「您的姓名」ex.王小明，進入使用者管理畫面，即可找到API 金鑰
- <font size=4 color="1C1CFF">**欲上架之資料集ID或其名稱**</font>：即資料集UUID。(或點選資料集查看)
- 確認後可使用下列方式進行資料上架：
| API 工具 | resource_create |
|------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| curl : 上架實體檔案 | curl -H 'Authorization: API_金鑰' 'https://[hostname]/api/action/resource_create' --form upload=@檔案路徑 --form package_id=資料集ID/名稱 --form name=顯示名稱 |
| curl : 上架URL/RESTFul API | curl -X POST https://scidm.nchc.org.tw/api/3/action/ resource_create -H "Authorization: API_金鑰" -d '{"package_id":"資料集ID/名稱","url":"URL網址","name":"顯示名稱",}' |
| python with ckanapi : 上架實體檔案 | from ckanapi import RemoteCKAN |
| ckanapi : 上架URL/RESTFul API | ckanapi action resource_create -a API_金鑰 -r https://scidm.nchc.org.tw package_id=資料集ID/名稱 url=URL網址 name=顯示名稱 |
範例：
curl 上架範例：
```bash=
$ curl -H 'Authorization: API_金鑰' 'https://scidm.nchc.org.tw/api/action/resource_create' --form upload=@plugin.py --form package_id=private01 --form name=my-test02 | jq
```
:::success
:::spoiler 輸出結果
```
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 10664 100 798 100 9866 165 2048 0:00:04 0:00:04 --:--:-- 0
```
:::
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=resource_create",
"success": true,
"result": {
"cache_last_updated": null,
"cache_url": null,
"mimetype_inner": null,
"hash": "",
"description": "",
"format": "text/x-python",
"url": "https://scidm.nchc.org.tw/dataset/27141111-8bb4-4967-983e-5a243c2be17f/resource/54f49971-e61f-4056-ae58-f0aba4cd8143/download/plugin.py",
"created": "2018-10-19T06:46:02.928884",
"state": "active",
"package_id": "27141111-8bb4-4967-983e-5a243c2be17f",
"last_modified": "2018-10-19T06:46:02.689961",
"mimetype": "text/x-python",
"url_type": "upload",
"position": 3,
"revision_id": "366a6e66-a84e-43f5-b57a-047577511528",
"size": 9453,
"datastore_active": false,
"id": "54f49971-e61f-4056-ae58-f0aba4cd8143",
"resource_type": null,
"name": "my-test02"
}
}
```
python with ckanapi 範例如下：
```python=
from ckanapi import RemoteCKAN
ua = 'ckanapiexample/1.0 (+http://example.com/my/website)'
mysite = RemoteCKAN('http://scidm.example.com', apikey='API_金鑰', user_agent=ua)
mysite.action.resource_create(
package_id='資料集ID/名稱',
name='顯示名稱',
upload=open('上架檔案完整路', 'rb'))
```
## 更多ckan API定義
可以參考[官方CKAN API手冊](http://docs.ckan.org/en/latest/api/)
# T.使用案例與示範教程
此案例使用資料市集中的[:link:新竹科學園區空氣品質數據](https://scidm.nchc.org.tw/dataset/sipa_air)
分析工具以 python 語言為例，並使用 jupyter notebook 為執行工具
1. 首先先宣告要使用的函示庫
```python=
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
```
--
2. 設定資料市集資料的網址，與分析的日期，日期期間可以選 2018/09/11 ~ 2019/04/30 之間的任一天
```python=
## "科技部新竹科學園區空氣品質數據"
d_URL='https://scidm.nchc.org.tw/dataset/f3551484-830c-4b33-997a-5cd2d24411b6/resource/5544fb98-bc5a-4838-8c36-85fa3dc3755d/download/air_hsinchu_201804-201904.csv'
## 20180911 ~ 20190430
d_DATE="20180913"
```
--
3. 下載該資料集並匯入pandas 的結構中
```python=
with requests.get(d_URL, stream=True) as r:
filename = d_URL.split('/')[-1]
r.raise_for_status()
with open(filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
if chunk:
f.write(chunk)
df = pd.read_csv(filename)
df[0:10]
```
:::success
:::spoiler 程式段 詳細資訊
:::
:::success
:::spoiler 結果輸出 詳細資訊
:::
--
4. 將需要的資料抽取出來，然後做排序
```python=
target_data=df.loc[:,["採樣時間","測站名稱","空氣品質指標"]]
target_data[0:10]
#target_data["id"]=target_data["測站名稱"].astype('category')
target_data["station_id"]=target_data["測站名稱"].astype('category').cat.codes
target_data["date"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%Y%m%d')
target_data["hour"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%H')
target_data["hour"]=pd.to_numeric(target_data["hour"])
target_data=target_data[ target_data["date"]== d_DATE]
target_data[0:10]
target_data.sort_values(by=['空氣品質指標',"station_id"],ascending=False)
```
:::success
:::spoiler 結果輸出 詳細資訊
:::
--
5. 最後，將station_id的資訊列表出來，以便跟下圖折線圖來做對應。由表我們可以看出station_id = 0 為力行站，在折線圖中為紅線。而由此圖看出，三個測站在2018/09/13的 15點的時候PQI指數都是最高
```python=
top_data=target_data.loc[target_data.groupby(by='測站名稱').idxmax()['空氣品質指標']]
top_data.loc[:,["station_id", "測站名稱", "採樣時間", "空氣品質指標"]]
sid = np.unique(target_data["station_id"])
colors = ['r', 'b', 'g','y','m','o']
markers = ['1', 'x', 'o','+', 'd', '^',]
plt.figure(figsize=(20,10))
for l, c, m in zip(sid, colors, markers):
plt.plot(target_data.loc[target_data["station_id"]==l,"hour"],
target_data.loc[target_data["station_id"]==l,'空氣品質指標'],
label=l,color=c)
plt.xticks(fontsize=30)
plt.yticks(fontsize=30)
plt.title("HsinChu PQI"+d_DATE, fontsize=34,)
plt.xlabel('hour',fontsize=34,)
plt.ylabel('PQI',fontsize=34,)
plt.legend(loc='lower right', fontsize=34)
plt.tight_layout()
plt.show()
```
:::success
:::spoiler 結果輸出 詳細資訊
:::
--
:::success
:::spoiler 完整程式碼 詳細資訊
```python=
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
d_URL='https://scidm.nchc.org.tw/dataset/f3551484-830c-4b33-997a-5cd2d24411b6/resource/5544fb98-bc5a-4838-8c36-85fa3dc3755d/download/air_hsinchu_201804-201904.csv'
## 20180911 ~ 20190430
d_DATE="20180913"
with requests.get(d_URL, stream=True) as r:
filename = d_URL.split('/')[-1]
r.raise_for_status()
with open(filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
if chunk:
f.write(chunk)
df = pd.read_csv(filename)
df[0:10]
target_data=df.loc[:,["採樣時間","測站名稱","空氣品質指標"]]
target_data[0:10]
target_data["station_id"]=target_data["測站名稱"].astype('category').cat.codes
target_data["date"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%Y%m%d')
target_data["hour"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%H')
target_data["hour"]=pd.to_numeric(target_data["hour"])
target_data=target_data[ target_data["date"]== d_DATE]
target_data[0:10]
target_data.sort_values(by=['空氣品質指標',"station_id"],ascending=False)
top_data=target_data.loc[target_data.groupby(by='測站名稱').idxmax()['空氣品質指標']]
top_data.loc[:,["station_id", "測站名稱", "採樣時間", "空氣品質指標"]]
sid = np.unique(target_data["station_id"])
colors = ['r', 'b', 'g','y','m','o']
markers = ['1', 'x', 'o','+', 'd', '^',]
plt.figure(figsize=(20,10))
for l, c, m in zip(sid, colors, markers):
plt.plot(target_data.loc[target_data["station_id"]==l,"hour"],
target_data.loc[target_data["station_id"]==l,'空氣品質指標'],
label=l,color=c)
plt.xticks(fontsize=30)
plt.yticks(fontsize=30)
plt.title("HsinChu PQI"+d_DATE, fontsize=34,)
plt.xlabel('hour',fontsize=34,)
plt.ylabel('PQI',fontsize=34,)
plt.legend(loc='lower right', fontsize=34)
plt.tight_layout()
plt.show()
```
:::
# FAQ.常見問題
## Q:什麼是國網中心正式學研用戶(含成員)
A:
- 由承接科技部或學研單位計劃主持人發起，於 iService 進行註冊、進行計劃登錄，並完成通過審核流程之帳號。
- 成員則為完成上述程序，且由主持人（帳號）授權加入計劃成員之帳號
帳號「計劃列表」與「新增」學研計劃介面如下：
# 備註
- 此為共筆文件，之後配合美工處理，或以 pages 方式謄入 scidm 中
- Pages 只支援 markdown 語法，需注意
- 可至下列資源取用內容素材：
- [資料市集平台使用教育訓練教材](https://docs.google.com/presentation/d/1mrOFR-W6thg8yikfOPdRPZGaOEycuaD_Rb8woqWXliA/edit?usp=sharing)
- [資料市集API教學教材](https://docs.google.com/presentation/d/1mrOFR-W6thg8yikfOPdRPZGaOEycuaD_Rb8woqWXliA/edit?disco=AAAAEBzkX08)
- [資料市集平台介面管理操作教材](https://docs.google.com/presentation/d/1mrOFR-W6thg8yikfOPdRPZGaOEycuaD_Rb8woqWXliA/edit?disco=AAAAEBzkX1M)
- [資料市集平台公開文件](https://scidm.nchc.org.tw/dataset/datamarketdocs)
- [SCIDM使用手冊](https://legacy.gitbook.com/book/ceasar-sun/scidm/details)
Sign in with Wallet
Connect another wallet