---
title: 資料集平台_使用手冊與平台宣告
tags: TWCCTutorial, Scidm, TW
---
copied from : [使用者手冊-Scidm](https://scidm.nchc.org.tw/pages/user-manual)
- [A.權利與義務宣告事項](/Yo7v7qfiSnO1_nrzpG-nBg)
- [B.註冊登入](/4szB78smRa-hQ4uF7QtI4g)
# A.權利與義務宣告事項
為了因應巨量資料應用及人工智慧發展對於資料之需求,財團法人國家實驗研究院國家高速網路與計算中心(簡稱國網中心)建置本資料平台,以資料與研究的媒合為宗旨,提供資料上架、展示、下載及API介接等多種服務模式,以便利公眾資料共享,促進巨量資料加值再利用。同時,為使本平台運作具明確的參考準則,以資料為主軸媒介,根據資料之提供、取用與系統平台等三個角色,與此規範文件中宣告此三行為角色之權益與相關義務。
## 1.系統平台
系統平台(含系統管理員)之主要權利與義務宣告如下:
:::info
1. 提供使用者對平台系統之詢問管道,如:服務建議與問題協助表單
1. 協助系統使用上之故障排除
1. 協助資料取用者取得各資料提供者之連繫管道
1. 呈上點,若資料提供者無法對其資料善盡管理之義務,系統有權對該資料進行管制(如:資料下架、回收組織管理之權限、...等)
1. 提供回報對於不適當資料之揭露(如:具隱私資料)有權進行緊急處理(如:暫時性下架)
1. 呈上點,管理員需通報資料提供者進行處理;於完成處理前,系統有權對該資料集進行管制(如:資料集下架、調整為非開放)
1. 提供資料提供者上架技術之諮詢(視需求可為收費服務)
:::
## 2.資料提供者
資料提供者系指有權限進行資料上架之行為帳號,包含組織管理員、組編輯者與經授權之個別資料集管理者。
資料提供者之主要權利與義務宣告如下:
:::info
1. 提出資料上架之需求,待審核通過則俱備其對應之管理權利,如下:
1. 資料上架、刪除權限
1. 詮釋資料編修權限
1. 資料授權使用權限
1. 組織成員管理
2. 有義務對釐清並標示上架之資料授權與使用條款(若需要),並承擔因授權不當之後續法律之責任
3. 有義務善儘管理所負責之相關申請人所提供之資料;若有需要,本平台有權要求資料提供者配合法規或調查要求之事宜
4. 提供對應之公開連繫窗口,以提供資料使用者或系統管理員之諮詢或緊急事件之處理。若未能善儘其相對義務,本平台根據本規範之 1.4 條,有權進行其權力之回收。
5. 組織管理員有義務審核使用者所提出之非開放資料集之申請單,並自行維護資料權限開通之事宜。
:::
## 3.資料取用者
資料取用者系指透過本平台取用資料之行為帳號;包含無登入之訪客與具帳號登入之帳號。
資料取用者之主要權利與義務宣告如下:
:::info
1. 有義務遵循本平台之相關隱私權規定
1. 對於不適當之資料揭露,可透過連繫窗口向資料提供者或系統管理員反應。
1. 有權提出註銷於本平台存放之相關個人資訊,於同時系統有權回收此帳號之相關資料使用權利。
1. 呈上點,提供予資料管理者之個人資訊,得需向資料提供者提出註銷請求,本平台無完成此請求之義務。
1. 不當使用資料或違反授權條款使用資料或其衍生資料,本平台有權中斷其使用權利並行使法律追究權;若造成平台或第三者權利受損,本平台亦有義務提供相關資料配合法律調查。
:::
# B.註冊登入
## 註冊
1. 進入「[:link:資料集平台](http://scidm.nchc.org.tw/)」網站
1. 點選右上角「<font size=4>**註冊**</font>」,進入註冊頁面。
![](https://i.imgur.com/iT2OcqU.png)
1. 點選「<font size=4>**申請帳號**</font>」,會導引到另外一個網站,[:link:計算主機資源網](https://iservice.nchc.org.tw/nchc_service/index.php):
![](https://i.imgur.com/3mCcX3J.png)
1. 點選計算主機資源網右上角的<font size=4>**登入/註冊**</font> <i class="fa fa-user" aria-hidden="true"></i> ,如下:
![](https://i.imgur.com/9Dt4spt.png)
1. 出現註冊/登入視窗,選擇「<font size=4>**現在就加入會員**</font>」。
![](https://i.imgur.com/WJzNkFk.png)
1. 閱讀服務條款之約定完畢後,至最下面點選「<font size=4>**我同意**</font>」。
![](https://i.imgur.com/4yvjUL9.png)
1. 資料集平台目前支援email的方式註冊(紅框所示),也可以使用第三方註冊的方式,如臉書、Google+和EduRoam。選擇您要註冊的方式。
![](https://i.imgur.com/Qa3xhWv.png)
1. 同個視窗拖曳到底,可看到申請人基本資料,填入有標示的表格填入,並點擊「<font size=4>**繼續填寫**</font>」。
![](https://i.imgur.com/aa7viV7.png)
1. 申請主機帳號資料,可隨機產生主機帳號或是自訂帳號,並鍵入主機密碼,然後點擊「<font size=4>**下一步**</font>」。
![](https://i.imgur.com/PHierCd.png)
1. 前往註冊信箱收認證信。
![](https://i.imgur.com/xsF7HOF.png)
1. 認證信內容如下,點擊連結完成帳號啟動程序。
![](https://i.imgur.com/uDMYO8J.png)
1. 最後一步,進行手機認證,點擊「<font size=4>**手機認證**</font>」,系統將發送認證簡訊。
![](https://i.imgur.com/1oqxHzF.png)
1. 鍵入認證簡訊6碼,點擊「<font size=4>**確認**</font>」進行驗證,如下圖所示。
![](https://i.imgur.com/LoJQmZE.png)
![](https://i.imgur.com/O3dwtM3.png)
1. 恭喜您完成帳號註冊!!
![](https://i.imgur.com/W81XBGM.png)
## 登入
1. 須使用[:link:iService網站](https://iservice.nchc.org.tw/nchc_service/index.php) 之「<font size=4 color="#009E9E">**主機帳號**</font>」與「<font size=4 color="#009E9E">**主機密碼**</font>」登入「國網中心資料集平台」。欲查詢主機帳號密碼步驟如下。
- 登入 iService 計算支援服務網後,會員中心中有個<font size=4 color="#009E9E">主機帳號資訊</font>(橘色方框),這也是用來開啟資料集相關存取權限的依據。
![](https://i.imgur.com/W3iVajq.png)
- 點擊主機帳號資訊後,顯示的頁面如下,若是忘記主機密碼,可進行變更。
![](https://i.imgur.com/mEMgWLm.png)
1. 鍵入「[:link:國網中心資料集平台](http://scidm.nchc.org.tw)」。點選右上角「<font size=4>**登入**</font>」,進入登入頁面。(備註:<font size=4 color="#009E9E">**使用者名稱:主機帳號,密碼:主機密碼**</font>)
![](https://i.imgur.com/XyKxs4E.png)
1. 填入名稱與其密碼(綠圓點處),之後點選「<font size=4>**登入**</font>」。
![](https://i.imgur.com/zsSLdXt.png)
1. 頁面自動轉向已登入頁面,點選 <i class="fa fa-cog" aria-hidden="true"></i> 圖示:(進入編修個人資料頁面)
![](https://i.imgur.com/W2yCYfv.png)
## 編修個人資料
1. 進入編輯頁面,可自行修改 <font color="#009400">「全名」、「電子郵件」、「密碼」、...</font>等個人資訊。變更密碼時,需要先輸入舊密碼,並輸入兩次相同要變更的新密碼。輸入後點選「<font size=4>**更新個人資料**</font>」進行更新。
![](https://i.imgur.com/e17MYWc.png)
1. 變更成功後,可看到頁面顯示「<font color="009400" size=4>**個人資料更新**</font>」資訊。
![](https://i.imgur.com/nkCWpgA.png)
## 查詢個人API金鑰
1. 於資料集平台網站點擊右上角的使用者圖示,如下圖紅框所示。
![](https://i.imgur.com/AoUWrcm.png)
1. 接著直接進入使用者頁面,個人 <font size=4>**API 金鑰**</font>則在圖片左下紅框的地方。
![](https://i.imgur.com/tRWvsv2.png)
# C.資料取用
## 資料取用流程圖
![](https://i.imgur.com/g9QEt43.png)
## 付費資料取用流程圖
![](https://i.imgur.com/e4vvccG.png)
## 搜尋
於[:link:資料市集平台](http://scidm.nchc.org.tw)首頁,有兩處可進行資料集搜尋(如下圖所示),直接鍵入自己想要搜尋的資料集。
![](https://i.imgur.com/61zwmqE.png)
或者點擊上圖所示的「<font size=4 color="#009400">**資料集**</font>」,即可進入下圖的頁面:
搜尋功能簡述如下:
- 支援中文字詞
- 使用 MMSeg 分詞工具
- 雙引號使用
- 提供對名稱、詮釋資料、標籤、進行搜尋
![](https://i.imgur.com/2JdWGDh.png)
## 檢視列表
資料集分為<font color="#FF1C1C">受限型資料集(需申請審核或付費審核)</font>與<font color="#009400">開放型資料集</font>。<font color="#FF1C1C">受限型資料集</font>分為<font size=4>**一般審核**</font>與<font size=4>**付費審核**</font>,申請審核流程如[:link:**資料提供流程圖**](https://hackmd.io/ihk5yC7qQYKi3Op9TBOFJQ?both#%E8%B3%87%E6%96%99%E5%8F%96%E7%94%A8%E6%B5%81%E7%A8%8B%E5%9C%96)與[:link:**付費資料取用流程圖**](https://hackmd.io/ihk5yC7qQYKi3Op9TBOFJQ?both#%E4%BB%98%E8%B2%BB%E8%B3%87%E6%96%99%E5%8F%96%E7%94%A8%E6%B5%81%E7%A8%8B%E5%9C%96)所示。<font color="#009400">開放型資料集</font>可直接進行下載,無須登入資料平台。
![](https://i.imgur.com/CeNNpry.png)
## 下載資源
以組織-資料平台計劃專區的資料集(公開文件)為例,下載資源的方式如下圖所示。
![](https://i.imgur.com/MIppZ7d.png)
![](https://i.imgur.com/pLKULYC.png)
# D.資料提供
資料提供流程相關說明:
1. 若無組織,則提出資料上架申請的使用者必須為<font size=4>**註冊會員**</font>,管理者會依據當時提供的名稱和描述新增組織,並MAIL通知使用者。申請新組織資訊不完整,系統管理員則會無法協助創建。
1. 若組織已存在,則須得到<font size=4>**組織管理員**</font>的同意,才可進行資料上架。
而詳細流程圖如下,
## 資料提供流程圖
![](https://i.imgur.com/VqiV7N6.png)
:::info
- :information_source: 註1:新組織提出申請::link:https://scidm.nchc.org.tw/contact ,填寫範例如下圖。種類:<font color="#009400">平台合作(提供資料集)</font>,並提供需要創建的<font color="#009400">組織名稱與描述</font>。
![](https://i.imgur.com/O3K4UnE.png)
- :information_source: 註2:申請平台登入帳號網站:[:link:iServices](https://iservice.nchc.org.tw/nchc_service/index.php) ,教學請詳見[:link:註冊、登入章節](https://hackmd.io/ihk5yC7qQYKi3Op9TBOFJQ?both#%E8%A8%BB%E5%86%8A)。
:::
## 創建組織
1. 於[:link:資料市集平台](scidm.nchc.org.tw)。點選右上角「<font size=4>**登入**</font>」,進入登入頁面。
![](https://i.imgur.com/smD8ri5.png)
1. 填入使用者名稱與其密碼,請輸入iService 服務網所申請之對應<font size=4 color="#009E9E">**主機帳號密碼**</font>。(使用者名稱:主機帳號、密碼:主機密碼),之後點選「<font size=4>**登入**</font>」。
![](https://i.imgur.com/UqeGnFB.png)
1. 登入後在帳號資訊頁面上點選「<font size=4>**組織**</font>」。
![](https://i.imgur.com/Gjiyn8d.png)
1. 進入組織頁面,點擊「<font size=4>**新增組織**</font>」,創建新的組織。
![](https://i.imgur.com/1VEMGxA.png)
1. 進入建立組織頁面後,請填入名稱、網址、說明,並上傳組織圖片或提供圖片連結,最後點擊「<font size=4>**建立組織**</font>」。
![](https://i.imgur.com/PswBGxu.png)
1. 完成建立組織之後,即可進行上傳相關資料集。
## 創建資料集/資料上架
1. 完成組織創建後,欲上傳資料集,請點擊「<font size=4>**新增資料集**</font>」。
![](https://i.imgur.com/faB3cQk.png)
1. 進入「<font color="#009400" size=4>建立資料集</font>」頁面;建議點選「標題」下方之「網址」的「<font size=4>**編輯**</font>」, 使用額外編輯 UUID 功能,以避免系統自動判斷時不接受雙位元字元。<font color="FF1C1C">網址</font>參數可修改部份為此資料集之UUID,若送出時有錯誤,應已有重複之 UUID ,請自行變更。
![](https://i.imgur.com/Ui0GREF.png)
![](https://i.imgur.com/hDOlCxG.png)
1. 請選擇其適合之授權方式
:::warning
:warning: 關於授權
假若選擇「<font color="1C1CFF" size=4>01 MOST-完全公開</font>」,建議變更公開模式,選項為「<font color="1C1CFF" size=4>公開</font>」;其餘則維持「<font color="1C1CFF" size=4>需申請審核</font>」即可。資料集是否公開搜尋,True為開放搜尋、False為不可搜尋。
![](https://i.imgur.com/kHqhIwl.png)
:::
4. 請務必填入「<font color="1C1CFF" size=4>作者</font>」與「<font color="1C1CFF" size=4>作者電子郵件</font>」資訊,以便後續資料維護與連繫。需要填寫的欄位如黃點所示。
![](https://i.imgur.com/jjcmYC3.png)
![](https://i.imgur.com/QemEYbK.png)
:::info
:information_source: 各欄位說明:(*為必填)
- ***標題:資料集的名稱**。
- ***網址:資料集專屬的網址**。
- ***說明:資料集相關描述**。
- 標籤:可設定相關hash tag,進行資料集分類。
- 共享範圍/授權:依資料集授權方式,選擇適當授權。
- 組織:此為預設,不需進行選擇。
- ***公開模式:
a. 需申請審核:該資料集須提出申請,相關單位審核通過方可取用
b. 公開:直接進行下載,無須登入平台會員**。
- ***searchable:資料集是否顯示在搜尋結果**。
- Allowed Users:允許存取資料集的使用者。
- Allowed Editors:允許對資料集進行相關編輯的使用者。
- 來源:可填網址,資料集出處。
- 版本:資料集版本。
- ***作者:資料集作者**。
- ***作者的電子郵件:資料集作者的電子郵件**。
- 維護者:維護資料集主要負責人。
- 維護者的電子郵件:維護資料集負責人電子郵件。
:::
5. 客製化欄位請視需要自行填寫,如紅框所示,填寫完畢請點擊「<font size=4>**下一步:新增資料**</font>」。
![](https://i.imgur.com/Q20ExQ8.png)
1. 進入「新增資料」頁面;點選「<font size=4>**上傳**</font>」並於檔案瀏覽器中選擇欲上傳之檔案或網站連結。
![](https://i.imgur.com/Xx26P94.png)
1. 點選 「Open」後,名稱欄位會動判斷;也可自行指定名稱。確認後點選「結束」;若還有其他檔案需要匯入,則可點選「<font size=4>**儲存並新增其他項目**</font>」。客製化欄位可自行填寫相關資訊。完成後,點擊「<font size=4>**下一步**</font>」,進入資料集下載方式與更新頻率。
![](https://i.imgur.com/LbVU1VB.png)
![](https://i.imgur.com/CAocbES.png)
1. 建立資料集下載方式與更新頻率,並點擊<font size=4>**確定**</font>。
![](https://i.imgur.com/IJDnz1E.png)
- 若需進一步修改該資料集付費方式,可至資料集頁面,選擇「<font size=4 color="#009400">**管理**</font>」進行修改。
![](https://i.imgur.com/XgR4tXH.png)
- 修改完成後並點擊更新。(**未來將開放付費模式*)
![](https://i.imgur.com/K7kwlx2.png)
9. 完成資料匯入,並列表顯示。
![](https://i.imgur.com/KdBBqbi.png)
![](https://i.imgur.com/figkYgb.png)
## 資料結構
![](https://i.imgur.com/SOy8V3I.png)
:::info
- 階層:組織 → 資料集 → 資源(resource),可參考上圖
- 資源(Resource): 可以是檔案或 URL
- 特定檔案格式可提供資料檢視:
- 直接瀏覽:
- Photo:.jpg | .png | ...
- Text :.txt |.json |.xml |…
- PDF:需已安裝 PDF preview plug-in
- 資料表格、分頁顯示:
- CVS 格式
- 資料繪圖:必須為 CVS 格式
- 數值繪圖
- 以 temperature.csv 為例繪製:點佈/折線/長條圖
- 地理繪圖:必須為 CVS 格式,並內容有經、緯度資訊
- 以「新竹市消防局消防分隊駐地位置座標_lat-lon.csv」:選擇經、緯度欄位
- 以「彰化縣路口號誌經緯度資料.GeoJSON.csv」:選擇 GeoJSON 欄位
- 檔案大小
- 單一檔案大小不超過
- 系統設定值:10 Gigabyte (GB)
- 建議值:不超過 2GB
- Plain text 檔案建議不超過 50M
- Preview 時避免造成瀏覽器負載過重:目前只顯示前 50 行內容
- 建議壓縮後上傳 ;並提供部份資料
- 資料集內檔案數量建議不超過512個
- 避免影響資料集列表效能:目前採分頁顯示 (50 items / page)
- 使用 API 需注意自行加入參數處理
:::
## 上架流程
資料上架流程說明如下:
1. 當新組織創建完成(使用者會收到平台管理者確認信),就可以進行資料上架。
1. 若已有隸屬組織,則須要取得組織管理員同意,使用者可以進行上架。
1. 若以上兩種情況均不同意,就無法允許使用者上架資料至平台。
![](https://i.imgur.com/SYhifxv.png)
## 資料上傳
## 【以NCHC-教學示範展示區為例】
### 登入
1. 於[:link:資料市集平台](scidm.nchc.org.tw)。點選右上角「<font size=4>**登入**</font>」,進入登入頁面。
![](https://i.imgur.com/PpZCHh2.png)
1. 填入使用者名稱與其密碼,請輸入[:link:iService 服務網](https://iservice.nchc.org.tw/nchc_service/index.php)所申請之對應主機帳號密碼。(<font size=4 color="#009E9E">**使用者名稱:主機帳號、密碼:主機密碼**</font>),之後點選「<font size=4>**登入**</font>」。
![](https://i.imgur.com/Dl7qVzl.png)
1. 登入後畫面為「<font color="#009400">**儀表板**</font>」,請點選「<font size=4>**我的組織**</font>」
![](https://i.imgur.com/KPjxA5F.png)
### 確認資料集所屬組織
1. 進入「<font color="#009400">**我的組織**</font>」後,選擇欲新增資料集之目標「<font size=4>**組織**</font>」
![](https://i.imgur.com/Picq15X.png)
### 新增資料集
1. 進入目標組織後,確認組織,並點選「<font size=4>**新增資料集**</font>」
![](https://i.imgur.com/xkqDetD.png)
1. 進入「<font color="#008000" size=4>建立資料集</font>」頁面;建議點選「標題」下方之「網址」的「<font size=4>**編輯**</font>」, 使用額外編輯 UUID 功能,以避免系統自動判斷時不接受雙位元字元。
![](https://i.imgur.com/VUTsgy9.png)
- 注意事項:<font size=4 color="#FF1C1C">**網址參數**</font>可修改部份為此資料集之UUID,若送出時有錯誤,應已有重複之 UUID ,請自行變更
![](https://i.imgur.com/KiWh7PX.png)
1. 填寫資料集相關描述欄位,下圖<font color="#009400">綠標</font>為建議填寫資訊。
![](https://i.imgur.com/j9zlv55.png)
1. 注意事項如下:
:::warning
:warning: 關於授權
- <font color="#FF1C1C">共享範圍/授權、公開模式</font> 選項請選擇其適合之<font color="1C1CFF">授權方式</font>;以NCHC-教學示範展示區為例:若選擇「<font color="1C1CFF">01 政府資料開放授權</font>」,建議變更公開模式選項為「公開」;其餘則維持「不公開」,如下圖所示。
- 使用協定及其他相關資訊請見: http://opendefinition.org/licenses/
![](https://i.imgur.com/C4xIPiD.png)
- 請務必填入「作者」與「作者電子郵件」資訊,以便後續資料維護與連繫。
- 客製化欄位請視需要自行填寫。
- 填寫完畢,所有欄位確認無誤後,請點擊「<font size=4>**下一步:新增資料**</font>」
![](https://i.imgur.com/Ivbtd55.png)
:::
5. 進入「<font color="#009400">新增資料</font>」頁面;點選「<font size=4>**上傳**</font>」並於檔案瀏覽器中選擇預上傳之檔案,或點選「<font size=4>**連結**</font>」填入目標網址連結。
![](https://i.imgur.com/cydSnOZ.png)
1. 上傳完畢後,名稱欄位會自動判斷;也可自行指定名稱。建議填寫說明欄位,讓資料取用者瞭解本次上傳資料集內容。待所有欄位確認無誤後,點選「<font size=4>**下一步**</font>」;若還有其他檔案需要匯入,則可點選「<font size=4>**儲存並新增其他項目**</font>」。
![](https://i.imgur.com/lFDWPEt.png)
![](https://i.imgur.com/8iB17Y4.png)
1. 進入「<font color="#009400">建立付費方式</font>」頁面;選擇欲上傳資料集之授權及更新頻率資訊,確認無誤後點選「<font size=4>**確定**</font>」。
![](https://i.imgur.com/DseyWEo.png)
1. 完成資料匯入,並列表顯示
![](https://i.imgur.com/W4h0VVh.png)
# E.組織管理
## 【以NCHC-教學示範展示區為例】
## 登入資料平台
1. 進入[:link:資料集平台](scidm.nchc.org.tw),並點擊右上方「<font size=4>**登入**</font>」。
![](https://i.imgur.com/19623pL.png)
2. 輸入使用者名稱(主機帳號)與密碼(主機密碼),並點擊「<font size=4>**登入**</font>」,以進行組織管理。
![](https://i.imgur.com/VWDGzTg.png)
## 進行組織管理
3. 並於[:link:資料集平台](http://scidm.nchc.org.tw)首頁上方列點擊「<font size=4>**組織**</font>」,如紅框所示。
![](https://i.imgur.com/aRyCpNn.png)
3. 選擇自己所屬的組織
![](https://i.imgur.com/8McfxTU.png)
3. 於「<font color="#009400">組織</font>」頁面點擊右上角「<font size=4>**管理**</font>,進行組織相關管理,如紅框所示。
![](https://i.imgur.com/Ry7AcqK.png)
6. 進入組織管理頁面,並分為以下管理功能,將一一說明。
## 組織管理功能說明
### 功能一:編輯
- 可進行變更圖片、組織名稱與相關說明。
![](https://i.imgur.com/Rdgc0EZ.png)
### 功能二:資料集
- 可進行組織內之資料集相關設定,如刪除資料集或設定資料集開放模式(公開、需申請審核)。
![](https://i.imgur.com/1SpCvu8.png)
### 功能三:成員
- 參與此組織的成員,權限分為:
:::info
:information_source: 組織成員角色
1. 管理者:可以新增/編輯和刪除資料集,以及管理組織成員。
1. 編輯: 可以新增和編輯資料集,但無法管理組織成員。
1. 一般成員: 可以瀏覽組織的私有資料集,但無法新增資料集。
:::
![](https://i.imgur.com/vvRjlhj.png)
### 功能四:非公開資料集審查
可使用資料集種類、時間、使用者帳號查詢非公開資料集相關資訊,並進行非公開資料集審核。
- 若要使用非公開資料集審核,種類請選擇需申請審核,再進行<font size=4 color="1C1CFF">**查詢**</font>,狀態欄位中的綠色按鈕可進行審核。
![](https://i.imgur.com/xkld82F.png)
- 審查視窗彈出後,即可選擇通過或不通過,並填入審核說明,最後點擊確認,會跑出<font size=4 color="1C1CFF">**審核**</font>成功的小視窗。
![](https://i.imgur.com/A8NV7ms.png)
![](https://i.imgur.com/RP8GOT1.png)
- 若審核通過,使用者就會收到申請成功通知信,即可對該資料集進行<font size=4 color="1C1CFF">**下載**</font>。
![](https://i.imgur.com/sSsCCSV.png)
- 若審核不通過,使用者會收到申請不通過通知信,信中提及<font size=4 color="1C1CFF">**審核不通過的原因**</font>,使用者可再次對資料集提出申請,讓組織管理員<font size=4 color="1C1CFF">**重新審核**</font>。
![](https://i.imgur.com/x2wVo7I.png)
### 功能五:簽署模板
新增非公開資料集申請時相關授權條款說明。
![](https://i.imgur.com/uIBMdjd.png)
![](https://i.imgur.com/fUiYMi4.png)
### 功能六:資料集統計
組織之資料集下載統計量,並可依照需求,使用時間區間和資料集種類進行篩選,共分五種不同方式統計方式,統計方式將依序說明:
:::info
:information_source: 資料集統計方式
1. 依分類統計:依目前組織分類之應用主題進行統計。
1. 依組織統計:依目前組織進行統計。
1. 依提供者統計:依資料集提供者進行統計。
1. 依使用者統計:依各個使用者(包含訪客)進行統計。
1. 依IP統計:依來源ip分為學術單位、海外民眾、企業民眾等。
:::
# F01.API使用
## CKAN API 說明
ckan 主要使用 restful api 模式進行,進行呼叫時可以用 http/https 送出需求,ckan 主機會回傳 json 格式字串,例如呼叫 group_list API 的時候,以瀏覽器輸入
https://scidm.nchc.org.tw/api/3/action/group_list
可以取得回傳值:
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=group_list",
"result": [
"nchc",
"most",
"privateset"
],
"success": true
}
```
回傳內容包含有 'help', 'result', 'success'
:::info
:information_source: 回傳內容說明
* help : 顯示相關 API 文件
* success : 回傳狀態, true 表示成功,false 表示失敗
* result : API 輸出內容
* error : 當回傳值 success 為 false 時,會有 error 字串顯示錯誤訊息
:::
例如:
```json=
{
"help": "Creates a package",
"success": false,
"error": {
"message": "Access denied",
"__type": "Authorization Error"
}
}
```
## Python + urllib 進行開發
範例:
```python=
#!/usr/bin/env python
import urllib2
import urllib
import json
import pprint
# Make the HTTP request.
response = urllib2.urlopen('https://scidm.nchc.org.tw/api/3/action/group_list', data_string)
assert response.code == 200
# Use the json module to load CKAN's response into a dictionary.
response_dict = json.loads(response.read())
# Check the contents of the response.
assert response_dict['success'] is True
result = response_dict['result']
pprint.pprint(result)
```
## Python + ckanapi 進行開發
需要先以 pip 安裝 ckanapi,其主要是為了ckan而設計的一系列函式庫,能夠提供開發者以較好的可讀性、除錯能力、支援性等優點,安裝與使用方式如下
```bash=
pip install ckanapi
```
範例:
```python=
from ckanapi import RemoteCKAN
ua = 'ckanapiexample/1.0 (+http://example.com/my/website)'
demo = RemoteCKAN('https://scidm.nchc.org.tw', user_agent=ua)
groups = demo.action.group_list(id='nchc')
print groups
```
## 常用 API 列表
| api | 說明 | 範例 |
|-----------------|--------------------|---------------------------------------------------------------|
| package_list | 資料集列表 | https://scidm.nchc.org.tw/api/3/action/package_list |
| group_list | 群組列表 | https://scidm.nchc.org.tw/api/3/action/group_list |
| tag_list | 標籤列表 | https://scidm.nchc.org.tw/api/3/action/tag_list |
| package_show | 取得資料集內容 | https://scidm.nchc.org.tw/api/3/action/package_show?id=mnist |
| tag_show | 取得標籤相關資料集 | https://scidm.nchc.org.tw/api/3/action/tag_show?id=空氣盒子 |
| group_show | 取得群組資料集 | https://scidm.nchc.org.tw/api/3/action/group_show?id=nchc |
| package_search | 資料集搜尋 | https://scidm.nchc.org.tw/api/3/action/package_search?q=mnist |
| package_create | 新增資料集 | https://scidm.nchc.org.tw/api/3/action/package_create |
| resource_create | 上傳資料 | https://scidm.nchc.org.tw/api/3/action/resource_create |
詳細說明與範例可參考:[API_開發手冊](https://ceasar-sun.gitbooks.io/scidm/content/)
## 更多 ckan API 定義
可以參考[官方CKAN API 手冊](https://docs.ckan.org/en/latest/api/)
# F02.API開發應用
透過 [CKAN](https://ckan.org/) 平台提供的預設 API 服務,使用者可以查詢/下載/管理資料。本資料市集使用 CKAN 平台提供 RESTful API 服務,方便使用者與開發者直接使用。常用的工具除了瀏覽器以外,也可以透過 Linux 指令 [cURL](http://curl.haxx.se/),或是 ckanpi 指令/Python library 進行運用。相關工具說明如下:
cURL 是一個利用URL語法在命令列下工作的檔案傳輸工具,支援的通訊協定有 HTTP、HTTPS...等。
[ckanapi](https://github.com/ckan/ckanapi) 是一個專為 ckan 平台開發的應用程式、Python Library。除了可以直接使用指令也可用以快速進行 [ckan api](http://docs.ckan.org/en/latest/api/) 程式開發之用。
## 資料存取步驟
資料存取主要有3個步驟:[查詢資料集](https://ceasar-sun.gitbooks.io/scidm/content/api-shi-yong.html#step1) -> [取得資料集詮釋資料](https://ceasar-sun.gitbooks.io/scidm/content/api-shi-yong.html#step1) -> [取得資源列表資料(url)](https://ceasar-sun.gitbooks.io/scidm/content/api-shi-yong.html#step3),即可下載檔案。
### 第一步:查詢資料集列表
以 package_list 列出資料集清單, 也可以利用[tag], [group], [search] 等方式取得資料集清單與資料集ID
| API 工具 | package_list (資料集清單) 定義 |
|----------|----------------------------------------------------------|
| curl | curl https://scidm.nchc.org.tw/api/action/package_list |
| ckanapi | ckanapi action package_list -r https://scidm.nchc.org.tw |
範例:
```bash=
curl https://scidm.nchc.org.tw/api/action/package_list
```
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=package_list",
"success": true,
"result": ["00000", ..... "mnist" ]
}
```
### 第二步:顯示資料集內容
以 package_show 列出資料集詮釋資料
| API 工具 | package_show (資料集詮釋資料) 定義 |
|----------|----------------------------------------------------------------------------------------------|
| curl | `curl -X POST https://scidm.nchc.org.tw/api/3/action/package_show -d '{"id":"資料集ID/名稱"}'` |
| ckanapi | `ckanapi action package_show -r https://scidm.nchc.org.tw id="資料集ID/名稱"` |
範例:
```bash=
curl -X POST https://scidm.nchc.org.tw/api/3/action/package_show -d '{"id":"mnist"}'
```
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=package_show",
"success": true,
"result": {
"license_title": "cc-by",
"relationships_as_object": [],
"private": false,
"num_tags": 1,
"id": "ef890176-6fd9-499d-9687-5fe2863c6941",
"metadata_created": "2018-03-07T08:41:56.898623",
"metadata_modified": "2018-03-20T16:37:36.011714",
"creator_user_id": "4360a7c1-74c3-467d-aeee-4a311390e03f",
"type": "dataset",
"resources": [
{
"description": "training set labels",
"name": "train-labels-idx1-ubyte.gz",
"url": "https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz",
"datastore_active": false,
"package_id": "ef890176-6fd9-499d-9687-5fe2863c6941",
"created": "2018-03-07T08:41:56.913326",
"state": "active",
"last_modified": "2018-03-07T08:44:32.097055",
"revision_id": "1fe43571-ffd8-4ef2-b28d-2d8a01dd5bd2",
"url_type": "upload",
"id": "c24b3977-b37e-40a9-88fc-993a65308830",
"resource_type": null,
"size": 28881
},...],
"num_resources": 4,
"license_id": "cc-by",
"name": "mnist",
"isopen": false,
"url": "",
"notes": "mnist 手寫辨識資料",
"owner_org": "1517dc0d-5312-4f7c-b602-1fdeecad09e4",
"title": "MNIST",
"revision_id": "38f46d2d-5c57-44af-93b0-5de4b3e40ddd"
}
}
```
由以上範例可以取得 resourceid (資源ID) 與 url, 如果需要資源的詳細資料可以透過 [resource_show] 取得
### 第三步:取得資源詳細資訊並下載資料
由上述資料集詮釋資料 或是由 特定 resource_show API 可以列出資源中的 url 資訊,即是檔案下載位置。
| API Tool | resource_show (資源詮釋資料)定義 |
|----------|--------------------------------------------------------------------------------|
| curl | `curl https://scidm.nchc.org.tw/api/3/action/resource_show -d '{"id":"資源ID"}'` |
| ckanapi | `ckanapi action resource_show -r https://scidm.nchc.org.tw id=資源ID` |
範例:
```bash=
curl -X POST https://scidm.nchc.org.tw/api/3/action/resource_show -d '{"id":"c24b3977-b37e-40a9-88fc-993a65308830"}'
```
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=resource_show",
"success": true,
"result": {
"mimetype": null,
"cache_url": null,
"hash": "",
"description": "training set labels",
"name": "train-labels-idx1-ubyte.gz",
"format": "",
"url": "https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz",
"datastore_active": false,
"cache_last_updated": null,
"package_id": "ef890176-6fd9-499d-9687-5fe2863c6941",
"created": "2018-03-07T08:41:56.913326",
"state": "active",
"mimetype_inner": null,
"last_modified": "2018-03-07T08:44:32.097055",
"position": 0,
"revision_id": "1fe43571-ffd8-4ef2-b28d-2d8a01dd5bd2",
"url_type": "upload",
"id": "c24b3977-b37e-40a9-88fc-993a65308830",
"resource_type": null,
"size": 28881
}
}
```
以上的 url 描述:
```
"url": "https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz",
```
就是資源的實際位置。
再以 wget 或是 瀏覽器 下載檔案
```python=
wget https://scidm.nchc.org.tw/dataset/ef890176-6fd9-499d-9687-5fe2863c6941/resource/c24b3977-b37e-40a9-88fc-993a65308830/download/train-labels-idx1-ubyte.gz
```
## 資料上架步驟
- 使用API 資料上架前需先確認兩項資訊:
- <font size=4 color="1C1CFF">**個人API_金鑰**</font>:點選任何畫面右上角「您的姓名」ex.王小明,進入使用者管理畫面,即可找到API 金鑰
- <font size=4 color="1C1CFF">**欲上架之資料集ID或其名稱**</font>:即資料集UUID。(或點選資料集查看)
![](https://i.imgur.com/IJFFjac.png)
- 確認後可使用下列方式進行資料上架:
| API 工具 | resource_create |
|------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| curl : 上架實體檔案 | curl -H 'Authorization: API_金鑰' 'https://[hostname]/api/action/resource_create' --form upload=@檔案路徑 --form package_id=資料集ID/名稱 --form name=顯示名稱 |
| curl : 上架URL/RESTFul API | curl -X POST https://scidm.nchc.org.tw/api/3/action/ resource_create -H "Authorization: API_金鑰" -d '{"package_id":"資料集ID/名稱","url":"URL網址","name":"顯示名稱",}' |
| python with ckanapi : 上架實體檔案 | from ckanapi import RemoteCKAN |
| ckanapi : 上架URL/RESTFul API | ckanapi action resource_create -a API_金鑰 -r https://scidm.nchc.org.tw package_id=資料集ID/名稱 url=URL網址 name=顯示名稱 |
範例:
curl 上架範例:
```bash=
$ curl -H 'Authorization: API_金鑰' 'https://scidm.nchc.org.tw/api/action/resource_create' --form upload=@plugin.py --form package_id=private01 --form name=my-test02 | jq
```
:::success
:::spoiler 輸出結果
```
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 10664 100 798 100 9866 165 2048 0:00:04 0:00:04 --:--:-- 0
```
:::
```json=
{
"help": "https://scidm.nchc.org.tw/api/3/action/help_show?name=resource_create",
"success": true,
"result": {
"cache_last_updated": null,
"cache_url": null,
"mimetype_inner": null,
"hash": "",
"description": "",
"format": "text/x-python",
"url": "https://scidm.nchc.org.tw/dataset/27141111-8bb4-4967-983e-5a243c2be17f/resource/54f49971-e61f-4056-ae58-f0aba4cd8143/download/plugin.py",
"created": "2018-10-19T06:46:02.928884",
"state": "active",
"package_id": "27141111-8bb4-4967-983e-5a243c2be17f",
"last_modified": "2018-10-19T06:46:02.689961",
"mimetype": "text/x-python",
"url_type": "upload",
"position": 3,
"revision_id": "366a6e66-a84e-43f5-b57a-047577511528",
"size": 9453,
"datastore_active": false,
"id": "54f49971-e61f-4056-ae58-f0aba4cd8143",
"resource_type": null,
"name": "my-test02"
}
}
```
python with ckanapi 範例如下:
```python=
from ckanapi import RemoteCKAN
ua = 'ckanapiexample/1.0 (+http://example.com/my/website)'
mysite = RemoteCKAN('http://scidm.example.com', apikey='API_金鑰', user_agent=ua)
mysite.action.resource_create(
package_id='資料集ID/名稱',
name='顯示名稱',
upload=open('上架檔案完整路', 'rb'))
```
## 更多ckan API定義
可以參考[官方CKAN API手冊](http://docs.ckan.org/en/latest/api/)
# T.使用案例與示範教程
此案例使用資料市集中的[:link:新竹科學園區空氣品質數據](https://scidm.nchc.org.tw/dataset/sipa_air)
![](https://i.imgur.com/QWi90IE.png)
分析工具以 python 語言為例,並使用 jupyter notebook 為執行工具
1. 首先先宣告要使用的函示庫
```python=
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
```
--
2. 設定資料市集資料的網址,與分析的日期,日期期間可以選 2018/09/11 ~ 2019/04/30 之間的任一天
```python=
## "科技部新竹科學園區空氣品質數據"
d_URL='https://scidm.nchc.org.tw/dataset/f3551484-830c-4b33-997a-5cd2d24411b6/resource/5544fb98-bc5a-4838-8c36-85fa3dc3755d/download/air_hsinchu_201804-201904.csv'
## 20180911 ~ 20190430
d_DATE="20180913"
```
--
3. 下載該資料集並匯入pandas 的結構中
```python=
with requests.get(d_URL, stream=True) as r:
filename = d_URL.split('/')[-1]
r.raise_for_status()
with open(filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
if chunk:
f.write(chunk)
df = pd.read_csv(filename)
df[0:10]
```
:::success
:::spoiler 程式段 詳細資訊
![](https://i.imgur.com/pa4iFlr.png)
:::
:::success
:::spoiler 結果輸出 詳細資訊
![](https://i.imgur.com/iVzHW2S.png)
:::
--
4. 將需要的資料抽取出來,然後做排序
```python=
target_data=df.loc[:,["採樣時間","測站名稱","空氣品質指標"]]
target_data[0:10]
#target_data["id"]=target_data["測站名稱"].astype('category')
target_data["station_id"]=target_data["測站名稱"].astype('category').cat.codes
target_data["date"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%Y%m%d')
target_data["hour"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%H')
target_data["hour"]=pd.to_numeric(target_data["hour"])
target_data=target_data[ target_data["date"]== d_DATE]
target_data[0:10]
target_data.sort_values(by=['空氣品質指標',"station_id"],ascending=False)
```
:::success
:::spoiler 結果輸出 詳細資訊
![](https://i.imgur.com/8z8MbZ7.png)
:::
--
5. 最後,將station_id的資訊列表出來,以便跟下圖折線圖來做對應。由表我們可以看出station_id = 0 為力行站,在折線圖中為紅線。而由此圖看出,三個測站在2018/09/13的 15點的時候PQI指數都是最高
```python=
top_data=target_data.loc[target_data.groupby(by='測站名稱').idxmax()['空氣品質指標']]
top_data.loc[:,["station_id", "測站名稱", "採樣時間", "空氣品質指標"]]
sid = np.unique(target_data["station_id"])
colors = ['r', 'b', 'g','y','m','o']
markers = ['1', 'x', 'o','+', 'd', '^',]
plt.figure(figsize=(20,10))
for l, c, m in zip(sid, colors, markers):
plt.plot(target_data.loc[target_data["station_id"]==l,"hour"],
target_data.loc[target_data["station_id"]==l,'空氣品質指標'],
label=l,color=c)
plt.xticks(fontsize=30)
plt.yticks(fontsize=30)
plt.title("HsinChu PQI"+d_DATE, fontsize=34,)
plt.xlabel('hour',fontsize=34,)
plt.ylabel('PQI',fontsize=34,)
plt.legend(loc='lower right', fontsize=34)
plt.tight_layout()
plt.show()
```
:::success
:::spoiler 結果輸出 詳細資訊
![](https://i.imgur.com/IY9uOtv.png)
:::
--
:::success
:::spoiler 完整程式碼 詳細資訊
```python=
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
d_URL='https://scidm.nchc.org.tw/dataset/f3551484-830c-4b33-997a-5cd2d24411b6/resource/5544fb98-bc5a-4838-8c36-85fa3dc3755d/download/air_hsinchu_201804-201904.csv'
## 20180911 ~ 20190430
d_DATE="20180913"
with requests.get(d_URL, stream=True) as r:
filename = d_URL.split('/')[-1]
r.raise_for_status()
with open(filename, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
if chunk:
f.write(chunk)
df = pd.read_csv(filename)
df[0:10]
target_data=df.loc[:,["採樣時間","測站名稱","空氣品質指標"]]
target_data[0:10]
target_data["station_id"]=target_data["測站名稱"].astype('category').cat.codes
target_data["date"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%Y%m%d')
target_data["hour"]=pd.to_datetime(target_data["採樣時間"]).dt.strftime('%H')
target_data["hour"]=pd.to_numeric(target_data["hour"])
target_data=target_data[ target_data["date"]== d_DATE]
target_data[0:10]
target_data.sort_values(by=['空氣品質指標',"station_id"],ascending=False)
top_data=target_data.loc[target_data.groupby(by='測站名稱').idxmax()['空氣品質指標']]
top_data.loc[:,["station_id", "測站名稱", "採樣時間", "空氣品質指標"]]
sid = np.unique(target_data["station_id"])
colors = ['r', 'b', 'g','y','m','o']
markers = ['1', 'x', 'o','+', 'd', '^',]
plt.figure(figsize=(20,10))
for l, c, m in zip(sid, colors, markers):
plt.plot(target_data.loc[target_data["station_id"]==l,"hour"],
target_data.loc[target_data["station_id"]==l,'空氣品質指標'],
label=l,color=c)
plt.xticks(fontsize=30)
plt.yticks(fontsize=30)
plt.title("HsinChu PQI"+d_DATE, fontsize=34,)
plt.xlabel('hour',fontsize=34,)
plt.ylabel('PQI',fontsize=34,)
plt.legend(loc='lower right', fontsize=34)
plt.tight_layout()
plt.show()
```
:::
# FAQ.常見問題
## Q:什麼是國網中心正式學研用戶(含成員)
A:
- 由承接科技部或學研單位計劃主持人發起,於 iService 進行註冊、進行計劃登錄,並完成通過審核流程之帳號。
- 成員則為完成上述程序,且由主持人(帳號)授權加入計劃成員之帳號
帳號「計劃列表」與「新增」學研計劃介面如下:
![](https://i.imgur.com/6A6xeSS.png)
![](https://i.imgur.com/2yKH0mO.png)
# 備註
- 此為共筆文件,之後配合美工處理,或以 pages 方式謄入 scidm 中
- Pages 只支援 markdown 語法,需注意
- 可至下列資源取用內容素材:
- [資料市集平台使用教育訓練教材](https://docs.google.com/presentation/d/1mrOFR-W6thg8yikfOPdRPZGaOEycuaD_Rb8woqWXliA/edit?usp=sharing)
- [資料市集API教學教材](https://docs.google.com/presentation/d/1mrOFR-W6thg8yikfOPdRPZGaOEycuaD_Rb8woqWXliA/edit?disco=AAAAEBzkX08)
- [資料市集平台介面管理操作教材](https://docs.google.com/presentation/d/1mrOFR-W6thg8yikfOPdRPZGaOEycuaD_Rb8woqWXliA/edit?disco=AAAAEBzkX1M)
- [資料市集平台公開文件](https://scidm.nchc.org.tw/dataset/datamarketdocs)
- [SCIDM使用手冊](https://legacy.gitbook.com/book/ceasar-sun/scidm/details)