--- tags: AI標準化路線圖 --- # ***德國人工智慧標準化路線圖***__<br>***基本議題*** ***Paper: [GERMAN STANDARDIZATION ROADMAP ON ARTIFICIAL INTELLIGENCE](https://www.dke.de/resource/blob/2008048/99bc6d952073ca88f52c0ae4a8c351a8/nr-ki-english---download-data.pdf)*** "人工智慧AI"一詞的定義 由於對該議題有多種不同的觀點和意見，為"人工智慧AI"一詞提供準確的定義變得非常困難： 1. 該術語是指科學或技術學科，還是指系統屬性或能力？ 2. 該術語應僅限於對AI系統功能的描述還是指其實現？ 3. 是否應該使用通常與人類智能相關的術語 (如"知識"、"技能") 來解釋人工智慧？ 幾乎每個AI相關的組織都以不同的方式定義這個術語。由於很難找到一個普遍接受的定義，這份路線圖中並不對此多做討論，而是對AI相關的系統及架構做出明確的解釋，其中很重要的一項就是"自主系統"的架構： **"自主系統"** 可以 **獨立解決特定應用領域中的複雜任務**，儘管最終結果和初始設計的目標也許會有所不同。自主系統必根據當前的任務環境，在符合法律與道德框架的同時，獨立生成一個行動計劃，使自主系統的操作系統可以在沒有遠端控制的情況下完成總體目標，甚至也無需操作人員的干預和協助。如果自主系統中的單一作業計劃在執行期間失敗，則系統必須能夠自行調整其他作業使計劃最終完成初始指定目標。更先進的自主系統還能夠與其他多個自主系統(或者人員)一起解決分佈式任務。在自我調整的大框架下，自主系統還必須具有一個功能模組對其自身性能進行限制，在外在規範或環境條件無法達到自主實現目標的情況下，必須將這一情況通報系統商 (例如，過度的風切會阻止無人機飛行、極端陡峭的路線超過自駕車的最大爬升能力等)。 :::info ***德國聯邦政府高科技論壇發佈的自主系統參考架構：*** ![](https://i.imgur.com/ILNRWv2.png) 在框架部分：首先利用感測環境狀況的感測器(Sensors)以及改變環境條件的執行器(Actuators)，實現自主系統的目標。此外，與系統的(網絡)環境進行溝通(Communication with the (networked) environment)並與協作人員通信(Communication with humans)可以為自主系統的作業提供其餘的重要信息。 在內部的作業原則方面，自治系統由多個認知資訊的處理模塊組成，由不同的自我調節機制(Self-regulation)控制： - 感知與解釋 Perception and interpretation - 學習與推論 Learning and reasoning - 制定計劃與識別計劃 Planning and plan recognition - 溝通與協作 Communication and collaboration 以及多個知識庫(Knowledge bases)，從初始設置開始，通過機器的學習和推理不斷適應迭代累積所需要的知識： - 事件記憶(Episodic memory)是對自主系統事件的長期記憶，系統將能夠從案例的推理以及經驗中學習。 - 論述記憶(Discourse memory)則是系統以及環境中人類與技術系統進行交流的整個過程，可隨時找到對應內容的引用和上下文中的歧義。 - 計劃記憶(Plan memory)存儲針對常見問題類別的成功計劃，無需重新制定計劃與做計劃修訂即可有效地完成目標，並通過基於觀察環境中其他代理的行為來識別其意圖的計劃識別。 - 模組庫(Model libraries)中包含以下各類模型： - 領域模型(Domain models)包含各應用領域中相關的對象、關係、狀態和事件的網絡模型，用於傳感器的識別以及自主系統的執行器的轉換。 - 任務模型(Task models)，記錄自主系統的已知任務分類，可以快速理解和分類系統設置的新任務或將其分解為一系列已知任務。 - 用戶模型(User models)，包含系統用戶的偏好、能力和知識水平等設定，實現系統的個人化服務，將自主系統應用在業務部門的輔助系統。 為了增加使用者對自主系統的信任程度，在中央控制功能完全故障的情況下，將危害風險降至最低，必須有一個符合參考標準的後備機制(Technical fall-back level)，例如在緊急情況下，可通過冗餘機電功能或無線電的遠端控制，將自主系統設置為安全運行狀態，並與外部通信發出警報消息的架構。 另一種比較常見的情況，當自主系統在異常情況下達到其系統的極限狀態，並且不得不將控制權交給人類時，必須提供控制權的雙向轉移(Bi-directional transfer of control)，以便於排除障礙後，人類可以將控制權歸還給系統。 ::: --- ## ***現況*** 關於人工智慧基礎主題，ISO 的次級委員會(Sub Committees(SC)42)正進行各種文件制定的工作： - ISO/IEC 22989，**人工智慧—概念和術語**。 由德國的編輯領導制定 - ISO/IEC 23053，**使用機器學習(ML)的人工智慧(AI)系統框架** 描述機器學習的術語框架 - ISO/IEC 23894，**資訊技術–人工智慧–風險管理** 包含AI系統開發和使用的風險管理指南。該標準也是由德國的編輯的領導下制定 - ISO/IEC 38507，**資訊技術–IT管理–組織中使用人工智慧的管理** 與AI相關的組織管理。 - ISO/IEC 20546，**資訊技術–大數據–概論與詞彙** 與大數據相關的概念與術語，SC42也在討論這些概念。 - ISO/IEC 5059，**軟體工程–系統和軟體品質的要求和評估 (SQuaRE 評估模型)** AI系統的品質模型 以及各種概述當前技術狀態的技術報告，包括： - ISO/IEC TR 24027，資訊技術–人工智慧(AI)-**AI系統中的偏差和AI輔助決策** - ISO/IEC TR 24368，資訊技術–人工智慧(AI)–**道德和社會問題概述** 正在協調中項目，預計將於2020年秋季開始工作： - 可認證的人工智慧管理標準，包含負責開發和使用AI系統的要求與組織。 - 在機器學習的背景下描述資料品質的方法和過程的各種項目。其中一個項目也是由德國的編輯領導下進行的。 ==為了凸顯AI in Germany，多次強調德國在國際標準制定中所佔重要位置== --- ## ***需求與挑戰*** AI應用的適用性評估可以基於道德、法律和技術標準。由於AI應用市場的不斷增長，對人工智慧的應用場景以及嵌入式方法和能力的概述是不可或缺的，有助於在開發、部署、合格評定和確定AI品質特性上避免缺陷。接下來的章節中概述了市場上具備AI方法和功能的應用程序，並介紹了基於不同自主決策程度的AI應用分類。其他諸如"隱私權"、"基本生命權和主體完整權"等方面則由臨界金字塔來呈現。 ***AI系統的方法、性能、危險程度三維分類*** ![](https://i.imgur.com/spTScqR.png) 由於AI應用的強大能力，潛在的危害對社會接受呈度有決定性的作用。以AI的交通標誌識別為例，潛在的傷害可能因應用而異：在一般道路交通中，由於存在大量關注點與須遵循的規則，可推測自動駕駛車輛(Autonomous Vehicle)存在很大的安全隱患。相較之下，具有相同AI技術進行交通標誌識別的傳統垃圾車(Conventional Garbage Truck)由於不具備自動駕駛能力，因此推測其危害程度較小，幾乎不存在安全隱患(如下圖)。 ![](https://i.imgur.com/9YfRHSj.png) 車輛中AI技術的一個簡單應用範例是交通號誌識別，目前速限偵測已成為很多車輛的標準配備。由於有許多與速限有關臨時交通標誌 (例如臨時道路工程、基於車流量的動態交通控制)，因此不能僅從數位地理資訊系統中獲取資訊，而是使用攝影機的圖像通過模式識別進行識別，通常在車內後視鏡上，這樣即使是剛剛豎立的標誌也會被識別出來 (例如建築工地)，同時還可以與其他輔助系統 (例如導航、雨量感測器、時間等) 進行比較，正確解釋受到的速度限制。然而，市場上用於交通標誌識別的輔助駕駛系統並不能真正100%的正確工作，對此進行了一項測試，在一個有40個交通標誌的賽道上，由12輛汽車進行測試，識別率從最差的32.5%到最佳的95%，識別率的巨大差異給許多特殊情況的交通識別帶來巨大的挑戰，例如：黏貼的臨時性速度標誌、隧道中的速度顯示、龍門架上發光(照明)標誌以及轉彎車道上速度限制的混淆等等，而這個測試也清楚地表明，為確保符合道路交通法規，有必要對5級自動駕駛進行標準化的測試。 因此，必須制定用於交通標誌的標準化訓練資料集，並且必須提供用於認證的基準測試。在風險測試的方法中，自動駕駛必須達到99.9%的檢測率，同時，為避免其他重大風險，對於純輔助功能AI應用測試率也必需達到80%的檢測率。 \ ***分類*** 根據AI HLEG發表的文件"人工智慧的定義：主要能力和科學學科(A definition of AI: Main capabilities and scientific disciplines)"，結合目前的技術能力，對 **AI方法** 以及 **AI性能** 進行分類。並以矩陣的方式顯示可使用哪些AI方法來實現所需要的AI性能。為了充分反映目前工業人工智慧應用的實際狀況，也對 **AI人工智慧應用**，**自主系統**，以及 **風險等級** 進行了分類 ==由於內容繁多，本次報告僅針對風險等級的分類進行說明== **AI應用的風險等級評估** ![](https://i.imgur.com/IB7gG56.png) 該評估基於風險適應度金字塔。根據金字塔的風險適應度分級，可能發生的損害 (由人為和/或算法評估確認) 將根據其程度 (例如"隱私權、基本生命權和主體完整權"以及"禁止歧視") 進行評估。評估將考慮所有技術組件 (包括硬體、軟體和訓練資料)、人類參與者 (包括開發人員、製造商、測試人員和用戶) 和生命週期階段 (包括開發、實施、合格評估和應用)。除了立法者之外，開發人員、測試人員和用戶還應該能夠使用金字塔評估系統的重要性。 風險適應度金字塔有五個臨界等級 (或程度)。隨著關鍵程度的提高，對要評估的社會技術系統的需求也在增長： - Level 1：**"沒有危害或只有最小潛在危害"** 不需進行風險評估 (應用範例：自動購物推薦；工業生產中的異常檢測)。 - Level 2：**"具有一定程度的潛在危害"** 應對透明度有披露要求。另外對不當行為需進行調查，例如分析輸入和輸出行為 (應用範例：動態定價；理賠自動處理)。 - Level 3：**"固定發生的危害或相當大的潛在危害"** 除Level 2的措施外，還應採用審批程序 (應用範例：自動信用分配；全自動物流)。 - Level 4：**"具有重大潛在危害"** 除了Level 2和Level 3的措施外，還應進一步的控制並履行透明度義務，例如公佈算法和計算參數，以及創建一個直接影響系統的界面 (應用範例：醫學中的AI診斷；自動駕駛)。 - Level 5：**"具有不可接受的潛在危害"** 應按系統比例禁止或完全禁止使用 (應用程序範例：無罪推定的系統，或沒有人為影響下具有致命性決策權的系統)。 風險適應度金字塔的分級其實披露了AI分級的更深刻需求，其中AI應用的法律評估與倫理評估流程應該具體化，這將定義出AI應用的基本權利和責任權利範圍。另外，通過附加的維度來增加風險適應度金字塔的重要性，可以更具體地描述可能的危害程度。適應性的認證應能夠滿足AI應用在Level 1-4的潛在危害的要求。對於Level 5的程度，則禁止進行系統評估，因為不能通過認證來確保防止高危險程度的傷害。總而言之，Level 2-4的監管與評估認證過程，存在最多元的義務、需求、保留意見、顧慮、倫理與法律影響。 \ ***信賴程度*** "信賴"一詞基本上可以指組織和技術系統。如果有依據 (例如測試報告或證書) 證明系統滿足這些特性，則技術系統 (即產品或以電子方式提供的服務) 在某些特性 (例如安全性或可靠性) 方面是可以信賴的。 組織的信賴程度則更為廣泛：它指的是一個組織被信任，可以實施適當的措施以及維護管理結構—一個管理體系—以滿足其股東和其他利益相關方的期望。除了相應的評估報告外，組織的聲譽或其在市場上的接受程度也有助於提升信賴程度 信賴程度的要求 在倫理規則中，人工智慧高級專家小組 (AI HLEG) 描述了AI系統在信賴程度方面的許多要求。大多數情況下，AI系統是混合應用程序，即它們由AI組件以及非AI的軟硬件共同組成，可以理解為特殊的IT系統。信賴程度的需求應考慮以下以個方面： :::info - **道德與法律** AI應用是否尊重社會價值觀和法律？ - **自主與控制** 是否有可能自主、有效地使用AI？ - **公平** AI是否公平對待涉案者？ - **透明度** AI的運作和決策是否透明？ - **可靠性** AI是否能可靠的運行，是否穩健？ - **安全** AI是否可以抵禦攻擊、事故和錯誤？ - **資料保護** AI是否確保隱私並保護敏感信息？ ::: 進一步的討論： 1. **應優先考慮人為機構和監督**，以及基本權利的遵守和保障。需要與AI系統相關資訊的監督和控管機制，以避免產生負面影響，例如基本權利，以及AI系統的濫用。另一方面，這些議題也必須具有與AI系統開發相關的技術成分，即有效監控功能的實施。但是這些管控機制必須嵌入營運組織的管理過程中才能有效，畢竟人類行為和人類對技術系統的控制代表一個組織以AI系統 (治理) 的目標、使命和承擔風險的意願。例如，在公共安全的背景下使用AI與商業行為中使用AI將有不同程度的安全顧慮。因此，AI HLEG要求在使用AI可能影響基本權利的領域進行影響評估。 2. **技術穩健性和安全性**，對攻擊與安全漏洞的彈性、後備計劃、一般安全性、準確性、可靠性以及可重複性。從標準化的角度來看，有以下相關問題： - 通用的IT管理或網絡安全方法是否足以適應AI系統？AI系統的具體漏洞是什麼？AI系統是否需要新的管控流程？ - AI系統必須受到哪些限制？什麼時候AI必須被傳統系統或人類限制或否決，以避免對人或事物造成傷害？ - 如何衡量或確保AI系統的精確度與可靠性？是否有普遍接受的指標和測量單位？開發和品質保證流程應該扮演什麼角色？ 3. **隱私和資料管理**，例如尊重隱私、資料品質與完整性以及資料訪問。標準化活動的問題是與人工智慧相關的資料保護管理，以及如何全面確保資料品質。尤其適用於當機器學習的資料是由外部供應商提供的情況。 4. **透明度**，例如可追溯性、可解釋性和溝通。在追溯性上，AI HLEG要求將AI系統做出決策的資料歷史與過程記錄在案。而"可解釋性"則是是指AI系統功能本身的可追溯性 (例如，AI統自動決策採用何種標準)。 5. **多樣性、非歧視性和公平性**，例如避免偏見與不公平、可訪問性和通用設計以及利益相關者的參與。 6. **社會和環境福利**，例如可持續性與環境友善、社會影響、社群與民主。 7. **問責制度**，例如可審計性、最小化負面影響並提出報告、權衡與補救。 總結來說，AI HLEG的建議解決了許多重要問題。但是，本標準化路線圖並不能直接用於對標準化機構進行授權： 1. 標準基本上是技術性的，需要考慮技術組織的要求與建議，以及如何在組織內發揮作用。社會、法律及政治的需求不能編入標準，只有應這些需求所產生的技術與組織影響才能成為標準的主題。因此，並非AI HLEG提到的所有主題在現階段都已經適合標準化。 2. AI HLEG並未區分信任是對於AI產品及AI服務本身，或是對於提供(製造、分銷)AI服務及AI產品的組織。 3. 如果標準化被視為國際層面的目標，由於WTO否定傳播未被國際認可價值觀的項目，這點對於國際組織都具有相同的約束力，即在ISO、IEC或ITU的層級的標準中，除了國際社會普遍接受的倫理道德基準之外都必須被排除。 ==路線圖中有關信賴的認證方式以及規範標準在此就不多做贅述== \ ***AI系統的開發*** 軟體為機器提供了越來越多的功能，硬體與軟體形成共生關係，有一些方法能夠幫助確保開發過程及整體成果的品質，例如 [V-Model®XT(德國聯邦政府IT開發敏捷流程模型)](https://www.itzbund.de/DE/digitalemission/trendstechnologien/projektsteuerung/projektsteuerung_node.html) - 敏捷方法(例如 Scrum) 。對於具有預定功能序列的軟體，有普遍接受的開發和品保流程，例如代碼讀取、不同集成級別的模塊和應用流程測試、驗證和確認。這些方法和流程也適用於具有基於規則的AI系統。在開發AI系統時，除了軟體代碼和所用編譯器的品質外，軟體架構、所用資料品質和學習階段也尤為重要。 學習型的AI系統通過不同的學習階段獲得基本功能。這個學習階段可以是靜態的或動態的，監督的或無監督的。與人類一樣，所學知識的測試對於軟件開發來說也同樣是一個巨大的新挑戰。由於AI系統最大的優勢是在應對非常大量資料的情況中迅速地做出決策與建議，那麼到底AI基於這些大量資料學到了什麼就是一個非常重要的議題。 如果AI系統用於有關安全領域的自動化或自主決策，就需要第三方進行驗證與合格評定的相關流程。適用於在產品責任中提供功能安全的依據。 考量AI系統在其應用環境中的整個生命週期中都持續在進行學習，因此需要確保學習和應用階段的資料都維持一定的品質，AI系統的開發應該利用風險的方法[risk-based approach](https://www.coe.int/en/web/moneyval/implementation/risk-based-approach)。 更進一步，還必須考慮其源代碼和/或學習內容由自己或其他AI系統生成的AI系統，現有的AI系統會開發新的AI系統或改變其學習內容，從而使機器發生某種進化。 AI系統的生命週期 AI模塊的資料品質原則 用於學習、測試和後續應用的資料品質是成功開發以及在應用階段使用AI系統的重要因素。ISO/IEC 25012:2008 中描述了軟體開發中資料品質的一般定義、內在組成以及系統相關特性。該標准在很大程度上也適用於AI應用的開發流程，是否需要進一步檢查其品質特性，必要時可以針對AI應用進行標準化。為各個用例定制和/或優先考慮維度是有意義的。例如，如果模擬資料（"合成資料"）用於學習和/或測試，則必須確保其可用性/示範性。如果出於學習、測試和檢查目的而故意提供不正確的資料，則必須對其進行相應標記，並以適當的方式將其與非錯誤資料分開，以免發生意外混合。 2019 年弗勞恩霍夫高品質資料和元資料 (NQDM) 指南列出了以下資料品質維度： 1. **流通(時效性)** 資料表示當前的實際情況。因此，建議在記錄和命名資料時注意時間戳記，必要時備註版本號。以適當的時間間隔檢查資料以確保它們具有代表性。 2. **準確性** 資料應包含正確的值並儘可能無錯誤。如果資料不符合其應用分類，則這個資料就是錯誤的。假如一個不正確的資料，被傳送到AI系統作為錯誤示範進行訓練，這個訓練資料實質上就是正確的。但如果是為了訓練AI系統，故意使用不正確的資料，則歸類為錯誤資料。 3. **精確度** 在應用方面，數值的精度具有很高的相關性，因此，應該避免值的捨入。資料的內容描述也應盡可能準確，以便快速評估數值資料的相關性。 4. **規範性** 在提供資料時，必須注意所包含資訊與格式在上下文的使用中保持，例如屬性和詞彙的命名。另外為了資料的普及，應盡可能使用適當的標準規範，例如時間與日期應按照ISO8601標準。 5. **一致性** 資料本身和跨資料集都應該沒有矛盾。這個維度已經在精度的範圍內。 6. 透明度、信賴程度 對資料的來源、原創性和變化進度進行追溯，增強資料的透明度和信賴程度，從而獲得用戶的信任，也符合倫理道德的要求。 7. 可靠性 評估一條資訊的可靠性或成熟度，可以為其分配一個狀態（另見 DCAT-AP.de）。 8. 可理解性 資料結構、資料命名以及資料介面應該易於理解。 9. 完整性 資料集應該是完整的：使用資料集所必需的屬性欄位都必須包含一個值(不可有空欄位)。 10. 可訪問性和可用性 資源應易於訪問。這包括易於查找、持久的鏈接和參考，以及全面的描述。 為了實現高品質的資料，需要對資料和資料介面進行精確的規範。學習系統平台顯示，資料管理可以被視為學習系統的基礎。為了應用的信賴程度和可追溯性，對其品質進行評估，以及對資料科學流程的所有單一組成以及整個過程的深入理解是必要的。組成部分包括：資料收集、資料清理、資料集成、資料探索、資料分析、建模、可視化和資料解釋，以及整個流程 (例如監控、評估) 內的交互過程或回饋循環。 --- ## ***標準化需求*** - **NEED 1：AI的管理系統標準(Management System Standard(MSS))的國際標準化** ISO/IEC/JTC 1/SC 42 已經啟動了一個為AI建立管理系統標準 (MSS for AI) 的專案。由於這是一個可認證的標準，因此將成為開發或使用AI的組織須遵守的國際標準規範，**因此強烈建議德國利益相關者參與該項目，對於標準化路線圖AI框架內的活動也應特別為參與此類國際組織活動提供資金和資源**。 :::success **Information Technology - Artificial intelligence - Management system** [ISO/IEC AWI 42001](https://www.iso.org/standard/81230.html) *under development* *台灣目前雖然無法以會員身分參加國際組織，但應積極排員參與每年固定舉辦的國際會議，以獲取第一手資訊* ::: - **NEED 2：制定AI技術的路線圖** 基於前述的AI分類方法，建議制定一個技術的路線圖，總結目前的AI技術趨勢，並為德國未來的AI技術發展與行業定位提出建議。 - **NEED 3：人工智慧的風險管理** 基於國際標準ISO 31000風險管理，目前ISO/IEC JTC 1/SC 42正在進行AI風險管理專案。在目前版本中，針對ISO 31000通用指南中AI方面做出了補充。風險管理必須繼續得到AI系統的影響評估指南的補充。 :::success **Information Technology - Artificial intelligence - Risk Management** [ISO/IEC CD 23894.2](https://www.iso.org/standard/77304.html) *under development* ::: - **NEED 4：人工智慧的資料品質管理** 資料品質管理是機器學習背景下的優先問題。 ISO/IEC JTC 1/SC 42 目前正在啟動一些資料品質管理的項目，*預計將於2020年秋季開始*，德國參加者應進行嚴格的監督，在必要時也提供所需要的支持。 :::success **分析與機器學習的資料品質標準** ，目前正在制定中： - **Part 1: Overview, terminology, and examples** [ISO/IEC AWI 5259-1](https://www.iso.org/standard/81088.html) - **Part 2: Part 2: Data quality measures** [ISO/IEC AWI 5259-2](https://www.iso.org/standard/81860.html) - **Part 3: Data quality management requirements and guidelines** [ISO/IEC AWI 5259-3](https://www.iso.org/standard/81092.html) - **Part 4: Data quality process framework** [ISO/IEC AWI 5259-4](https://www.iso.org/standard/81093.html) ::: - **NEED 5：透明度的管控與避免歧視** 前面提到AI系統的可解釋性和可追溯性是其中一個與人工智慧相關的話題，也應該是標準化的主題，應對技術與組織措施的定義做出補充以防止歧視。 - **NEED 6：設計AI系統的原則** AI系統生命週期模型的定義工作目前已經由DIN SPEC 92001以及ISO/IEC JTC 1/SC 42推動中。這些工作應該在國際層級進行協調與繼續推動。 :::success **DIN TECHNICAL RULE** **Artificial Intelligence - Life Cycle Processes and Quality Requirements** - **Part 1: Quality Meta Model** [DIN SPEC 92001-1](https://www.din.de/en/wdc-beuth:din21:303650673) - **Part 2: Robustness** [DIN SPEC 92001-2](https://www.din.de/en/wdc-beuth:din21:330011015) **ISO STANDARD** **Information technology - Artificial intelligence - AI system life cycle processes** [ISO/IEC AWI 5338](https://www.iso.org/standard/81118.html) *under development* :::