# 資料品質監控

## 正確性 (Accuracy)
即為確保資料記錄與其定義標準相符合
* #### 涵蓋性(coverage)指標
資料涵蓋性指標包括對所提供的資料能針對參照母群體有明確的說明，確認且紀錄資料來源不足或在事前定義的範圍中超過比例(超出可接受範圍)
EX:

制定預期正常應有的筆數

* #### 測量錯誤(measurement error)指標
資料發生錯誤可能是源自於許多導因的，資料錯誤可區分為測量錯誤 、偏差
* 測量錯誤
* 指所得資料的數值與其真正價值的附合性，亦即資料效度(validity)的檢視
EX:

帳號欄位的長度應有固定的值

* 偏差(bias)
* 即以系統性方式檢查所得資料的價值與真正價值的差異程度
EX:

挑出資料中的極端值

## 一致性 (Consistency)
指定從不同數據集提取的兩個數據值不應相互衝突。但是，一致性並不能自動暗示正確性。
* #### 均等(equivalency)指標
指資料可從一種表格對應到任何一種格式
EX:

如日期欄位格式 yyyymmdd, yyyy/mm/dd, yyyy-mm-dd
如有 relation 其資料也須保持一致
EX:

公司每個部門的僱員總數不超過該組織中僱員總數

## 完整性 (Completeness)
指確保資料能反映出真實的情況沒有不相關的資料與遺漏
* #### 部分無反應(item non-response)指標
匯入的資料中有部份資料項目缺少有可能是代表沒有(零)或是空白(沒填)，因此部分無反應資料的比例計算方式即必須明確界定
* #### 校正(edit)與責咎(imputation)指標
建置適當的校正機制是資料品質的保證。
* 不正確的資料必須被標示或檢視出來，應即刻傳回資料原提供者加以更正，以確保資料的品質
* 校正規則與責咎方法必須合理具邏輯性，可採用自動化責咎(automated imputation)或一致化編輯(consistency edits)
* 校正與責咎的頻率次數可反映資料的品質。
## 即時性 (Timeliness)
及時性符合對信息可用性和可訪問性的期望。換句話說，它測量的是期望數據到易於使用之間的時間。
* #### 資料釋出即時性指標
測量方式是計算資料最後一筆釋出時間與計算當下的時間點差距（亦或資更新的頻率）
---
#### Reference
* [How to build and maintain Airbnb-quality data](https://blog.anomalo.com/airbnb-quality-data-for-all-a4ca6b4c97e6)
* [How to Measure Data Quality – 7 Metrics to Assess the Quality of Your Data](https://www.precisely.com/blog/data-quality/how-to-measure-data-quality-7-metrics)
* [Your Guide to Data Quality Management](https://www.scnsoft.com/blog/guide-to-data-quality-management)
* [資訊資料品質與管理](http://www.twna.org.tw/TWNA_BACKEND/upload/web/ePublication/6445/JNv56n3-029-035.pdf)
* [The Ultimate Guide to Modern Data Quality Management (DQM) For An Effective Data Quality Control Driven by The Right Metrics](https://www.datapine.com/blog/data-quality-management-and-metrics/)