【編者按】

2019年歐盟委員會人工智能高級專家組發布了《可信人工智能倫理指南》。該指南中包含了一份評估清單，以幫助評估正在開發、部署、采購或使用的人工智能系統是否符合指南中規定的“可信人工智能”的七項要求。2020年7月，最終版《可信人工智能自評估清單》發布，它為人工智能開發者、部署者、使用者提供了評估可信人工智能的初步方法，有助于推動可信人工智能七項要求的踐行和落實。

The Assessment List For Trustworthy Artificial Intelligence（ALTAI）

—— High Level Expert Group on Artificial Intelligence

可信人工智能自評估清單（ALTAI）

——歐盟委員會人工智能高級專家組

”

【目錄】

引言：如何使用可信人工智能評估清單

要求#1人類能動性和監督

人類能動性和自主性

人類監督

要求#2技術穩健性和安全性

抵御攻擊和安全性

整體安全

準確度

可靠性、回溯計劃和可復現性

要求#3隱私和數據治理

隱私

數據治理

要求#4透明度

可追溯性

可解釋性

可溝通性

要求#5多樣性、非歧視和公平性

避免不公正的偏見

可及性和通用設計

利益相關者的參與

要求#6環境友好和社會福祉

實現環境友好

對工作和技能的影響

對全社會或民主的影響

要求#7問責制

可審核性

風險管理

詞匯表

I

可信人工智能的倫理目標

本評估清單立足于對公民基本權利的保護。公民基本權利既包含人類尊嚴、非歧視等，也包含數據保護和隱私相關的權利。清單指出，在使用本評估清單對人工智能系統進行自我評估之前，應先進行基本權利影響評估（FRIA），以確保人工智能的開發、部署和使用過程遵守人民基本權利、原則和價值觀。

II

實現可信人工智能的關鍵要求

01

人類能動性和監督

AI系統應該根據尊重人類自主權的原則，支持人類的能動性和人類的決策。這就要求AI系統做到以下兩點：通過支持用戶的能動性，成為民主、繁榮和公平社會的推動者；以人類監督為支撐，維護公民的基本權利。

1.1人類能動性和自主性

AI系統在開發、部署和使用過程中應當制定相應措施以避免AI系統無意中干擾用戶決策，降低AI系統創造人類沉迷、操縱用戶行為的風險。同時終端用戶和主體應當始終被告知他們正在與AI系統而非人類互動，其應當充分意識到某項決議和結果是算法決定的結果。

1.2人類監督

人類應有能力干預或監督AI系統。監督可以通過不同的管理機制來實現，包括決策監督機制、設計監督機制、整體監督機制等方法。

02

技術穩健性和安全性

實現可信AI系統的關鍵要素是其可靠性（提供可信賴服務的能力）和適應力（面對變化時的穩健性）。技術的穩健性要求AI系統在開發過程中具備對風險的預防性方法，并確保其行為可靠、符合預期、盡量減少并預防無意和意外傷害。

2.1抵御攻擊和安全性

人類應當制定相應措施以確保AI 系統的完整性、穩健性和整體安全性以抵御其生命周期內的潛在攻擊。攻擊切入點可能為數據，也可能為模型。同時，AI系統應經過網絡安全認證或符合特定的安全標準。

2.2整體安全

人類應當對AI系統的可能威脅和風險進行評估，并將結果告知終端用戶和主體，以確保AI系統不會對用戶造成傷害。

2.3準確度

準確度是AI系統的一個性能指標。低準確性可能會導致嚴重后果。人類應當采取措施確保用于開發AI 系統的數據（包括訓練數據）是最新的、高質量的、完整的且能夠代表系統部署環境。同時，人類應制定相關程序以保證用戶和系統之間的溝通準確度。

2.4可靠性和可復現性

人類應當制定相應程序確保AI 系統結果的可靠性和可重復性，并制定經過測試的故障安全后備計劃以解決AI系統錯誤。

03

隱私和數據處理

隱私是人類的一項基本權利，尤其受到AI系統的影響。防止對隱私的傷害需要完善的數據治理。這其中包括所使用數據的質量和完整性、數據與AI系統將被部署領域的相關性、數據的訪問協議和以保護隱私的方式處理數據的能力。

3.1隱私

AI系統應當尊重人類人身完整的基本權利，這其中包括人的精神和身體完整。

3.2數據治理

AI系統對數據的收集、生成或處理應當遵循相關的標準和協議，保護用戶的隱私和數據。

04

透明度

實現可信AI的一個重要因素是透明度，這其中包括可追溯性、可解釋性、關于AI系統局限性的公開交流。

4.1可追溯性

產生AI系統決策的數據和過程應當得到適當的記錄以用來追溯。并且應該增加透明度，最終在社會中建立對AI系統的信任。

4.2可解釋性

可解釋性即解釋AI系統的技術過程和決策過程。在可能的范圍內，AI系統驅動下的決策必須向直接或間接受影響的人解釋并被他們理解，以便允許他們對決策產生質疑。需要解釋的程度取決于背景和錯誤或不準確的輸出對人類生活影響的嚴重性。

4.3可溝通性

可溝通性要求AI系統的能力和局限以適合于現有慣例的方式傳達給用戶。在使用交互式AI系統（如聊天機器人、機器人律師）時用戶應當被告知他們正在與AI系統而非人類交互。人類應當建立相應機制告知用戶AI系統所產生決策的目的、標準和限制。

05

多樣性、非歧視和公平性

5.1避免不公正的偏見

AI系統（無論用于訓練還是操作）可能會受到無意識的歷史偏見、不完整和不良治理模式的影響。這種偏見的延續可能導致對某些群體或人的無意的直接偏見或歧視（以及間接偏見或歧視），從而加劇偏見和邊緣化。故意利用（消費者）偏見或從事不公平競爭，如通過串通和不透明的手段使價格同質化，也會造成傷害。應盡可能在收集階段消除可識別的和歧視性偏見。

5.2可及性和通用設計

尤其是在B2C（企業對消費者）領域，AI系統應該以用戶為中心，其設計方式應允許所有人使用AI產品或服務，無論人們的年齡、性別、能力或特征如何。尤為重要的一點是，各種社會群體中的殘障人士均有機會使用這種技術。

5.3利益相關者的參與

為開發可信人工智能，建議咨詢在整個生命周期內可能直接或間接收到AI系統影響的利益相關者。同時在部署之后定期征求反饋，并為利益相關者建立長期的參與機制。

06

環境友好和社會福祉

應鼓勵AI系統的可持續性和生態責任，利用AI維護和促進民主進程，造福人類，包括子孫后代。

6.1實現環境友好

AI系統即使被承諾用于幫助解決一些最緊迫的社會問題，如氣候變化，也必須以環境友好型方式發揮作用。AI系統的開發、部署和使用過程以及整個供應鏈都應進行此方面的評估。

6.2對工作和技能的影響

AI系統將會對人類工作和工作安排產生影響。人類應采取措施確保AI系統對人類工作的影響得到充分理解，并積極應對AI系統可能帶來的勞動力去技能化風險。

6.3對全社會或民主的影響

人類在使用AI系統時應當考慮將它對機構、民主和全社會的影響。AI系統不得破壞民主進程、人類審議或民主投票制度，也不得對整個社會構成系統性威脅。

07

問責制

應建立可利用的問責機制，以確保對AI系統的開發、部署和/或使用負責并在發生不公正或不利影響時有充分的補救可能性。

7.1可審計性

內部和外部審計者進行評估以及獲取上述評估記錄的可能性有助于構建可信賴的AI系統。在影響基本權利的應用中，包括對安全至關重要的應用，AI系統應該能夠被獨立審計。但這并不意味著和AI系統相關的商業模式和知識產權信息必須始終公開。

7.2風險管理

識別、評估、記錄和盡量減少AI系統的潛在負面影響，對（直接）受影響的人來說至關重要。舉報人、非政府組織、工會或其他實體在報告對AI系統的合法關切時必須得到應有的保護。實現上述需求時可能會有矛盾的產生，此時需要做出權衡。這種權衡應在技術水平范圍內以合理和有條理的方式來進行。