# Model Governance
本章從這些主題的重要性轉向組織如何將它們納入其MLOps戰略的一部分，對這些主題進行了更深入的探討。

**誰決定組織需要什麼治理？**
國家法規是社會維護公平框架的關鍵部分。 但是這些需要花費大量時間才能達成共識並付諸實施。從業務利益相關者的角度來看，治理可能會減慢新模型的交付速度，這可能會花費業務金錢。

**現行法規推動MLOps治理**
當今世界上幾乎沒有針對ML和AI的法規。 但許多現有法規確實對機器學習治理產生了重大影響。 大致分為以下兩種形式：
• 行業特定的法規。 這在金融和製藥領域尤為重要。
• 廣譜監管，尤其是解決數據隱私問題。

**財務模型風險管理規定**
模範風險管理（MRM）法規是由對諸如財務崩潰之類的非常規事件的影響的經驗驅動的，如果發生重大損失，則對公眾和整個經濟也會造成損害。

例如，英國審慎監管局（PRA）法規定義了良好MRM的四項原則：
* 版本定義
定義一個模型並在庫存中記錄此類模型。
* 風險治理
建立模型風險治理框架，政策，程序和控制。
* 生命週期管理
創建健壯的模型開發，實施和使用過程。
* 有效挑戰
進行適當的模型驗證和獨立審查。

**負責任AI的出現**
隨著數據科學，機器學習和AI的採用在全球範圍內加速發展，AI思想家之間出現了鬆散的共識。 達成共識的最常見標誌是負責任的AI：開發負責，可持續和可管理的機器學習系統的想法。

意向性
一定有：
•確保模型的設計和行為符合其目的
•確保用於AI項目的數據來自合規且確保對潛在模型偏差進行多重檢查和平衡
•意圖還包括可解釋性，這意味著AI系統的結果應可由人類（理想情況下不僅是創建系統的人類）可以解釋。

問責制
一定有：
•中央控制，管理和審核企業AI工作的能力（沒有影子IT！）
•哪些團隊正在使用哪些數據，如何使用
•相信數據是可靠的，並且可以按照法規進行收集，並且可以集中了解哪些模型用於哪個業務流程。 這與可追溯性緊密相關 — 如果出現問題，是否容易找到發生的位置？

**負責任的AI的關鍵要素**
要素1：數據
對數據的依賴是機器學習和傳統軟體開發之間的根本區別。
現實世界中的一些注意事項如下：
• 了解如何收集數據以及其到達使用點的過程。
• 數據必須是可管理的，可保護的和可追溯的。 個人數據必須嚴格管理。
• 隨時間推移的數據質量：一致性，完整性和所有權。
• 偏向的輸入數據可能容易且無意的發生。

要素2：偏差
偏差不僅是統計上的。 偏差檢查應整合到治理框架中，以便儘早發現問題，因為它們確實有可能破壞數據科學和機器學習項目。

數據科學家可以解決許多潛在的統計偏差來源（例如，從世界範圍來看）：
• 偏差是否編碼到訓練數據中？數據準備，採樣或拆分是否引入了偏差？
• 問題的定義是否正確？
• 注意許多變量可能高度相關。

要素3：包容性
機器擅長從龐大的數據集中做出明智的決策，而人們則擅長以更少的信息做出決策。
人為判斷對於做出與道德和傷害相關的判斷特別有效。
業務分析師，主題專家，數據科學家，數據工程師，風險經理和技術架構師的觀點都是不同的。

要素4：大規模模型管理
當有少量生產模型時，管理與ML相關的風險可以在很大程度上是手工的。但是隨著部署數量的增長，挑戰迅速增加。
以下是大規模管理ML的一些主要注意事項：
• 可擴展的模型生命週期需要在很大程度上實現自動化和簡化。
• 現有的軟體工程技術可以大規模地幫助機器學習。
• 決策必須是可解釋的，可審計的和可追溯的。
• 可再現性是了解出了什麼問題，誰或什麼原因，以及誰應確保糾正問題的關鍵。
• 模型的性能會隨著時間的推移而降低：必須在流程中內置監視，漂移管理，重新訓練和建模。
• 技術發展日新月異；需要一種集成新技術的方法。

要素5：治理
負責任的AI將強大的治理視為實現公平和信任的關鍵。該方法建立在傳統治理技術的基礎上：
• 在流程開始時確定意圖
• 正式將專案成員帶入開發循環
• 明確確定職責
• 整合定義和構建流程的目標
• 建立並傳達流程和規則
• 定義可衡量的指標並監控偏差
• 將MLOps管道中的多項檢查與總體目標保持一致
• 通過教育賦予人們權力
• 教育建設者和決策者如何預防傷害

因此，治理既是MLOps計劃的基礎，又是其根基。但是，重要的是要認識到它超越了傳統數據治理的邊界。

**MLOps 治理的模板**
健壯的 MLOps 治理框架沒有跨企業的萬能解決方案，並且企業內不同的用例說明了不同管理水平的合理性，但是概述的分步方法可以在任何組織中應用，以指導實施過程。
該過程包括八個步驟：
* 了解並分類分析用例
* 定義不同類別的分析情境，然後定義每種情境的治理需求。
* 建立道德立場。
* 任何 MLOps 治理框架都需要反映公司的道德立場。 這會影響模型的功 能以及模型的執行方式，但 MLOps 治理流程需要確保已部署的模型符合所選的道德立場。
* 例如，平等，隱私，人權與尊嚴，就業，民主，偏見
是否要考慮對人類心理的潛在影響？ 例如人與人或人與人之間的關係，欺騙，操縱，剝削
是否需要對財務影響採取立場？ 例如，市場操縱
決策的透明度如何？
企業要接受針對AI驅動的錯誤的何種級別的責任制？

* 建立責任。
* 確定負責監督MLOps治理的人員及其角色，從管理層次的頂部到底部，跨部門參與整個組織
* 確定治理策略
* 了解了目前確定的治理範圍和目標以及負責任的治理領導人的參與後，該為 MLOps 流程製定核心政策。這是一項艱鉅的任務，並且不可能一次迭代就可以實現。
* 將策略集成到MLOps流程中。
* 將實施這些計劃的措施納入 MLOps 流程並負責採取行動，分配所採取的措施
* 選擇用於集中治理管理的工具。
* MLOps 治理流程會影響整個ML生命週期以及整個組織中的許多團隊。 每個步驟都需要執行一系列特定的操作和檢查
* 參與和教育。
* MLOps 必須傳達治理對業務的重要性以及每個團隊做出貢獻的必要性，在這種理解的基礎上，每個人都需要學習他們必須做什麼，何時以及如何做
* 監視和完善。
* 衡量成功需要指標和檢查。 它要求人們承擔監視和解決問題的方法。 治理流程及其實施方式將需要根據經驗教訓和不斷發展的要求