隨著越來越多的企業(yè)和消費者采用基于人工智能（AI）的應(yīng)用，確保人工智能的責(zé)任感和可信度變得至關(guān)重要。各國政府機(jī)構(gòu)和國際組織正在迅速制定法規(guī)并發(fā)布框架，以推動對人工智能使用的監(jiān)督、問責(zé)和負(fù)責(zé)任。例如，歐盟《人工智能法案》要求高風(fēng)險AI系統(tǒng)的開發(fā)者遵守多項規(guī)定，包括進(jìn)行模型評估、評估并減輕系統(tǒng)性風(fēng)險，以及進(jìn)行對抗性測試（包括生成式AI系統(tǒng)的測試）以符合透明度要求。
雖然AI治理框架包含多個要素，但對AI應(yīng)用底層算法的審計是一個必要且關(guān)鍵的組成部分。通過算法審計，我們能夠深入了解AI系統(tǒng)的內(nèi)部工作機(jī)制，包括訓(xùn)練數(shù)據(jù)、模型開發(fā)和訓(xùn)練，以及AI系統(tǒng)的底層邏輯。這些信息有助于驗證AI系統(tǒng)是否遵守負(fù)責(zé)任AI的其他原則，從而增強(qiáng)我們對其輸出結(jié)果的信任。
算法審計及其挑戰(zhàn)
算法審計是指對機(jī)器學(xué)習(xí)（ML）應(yīng)用進(jìn)行評估，分析其功能、目的和背景，以評估其效用和公平性。這些審計幫助系統(tǒng)地理解模型構(gòu)建過程中各步驟中可能產(chǎn)生的偏見。盡管算法審計在IT審計領(lǐng)域是一個熱門話題，但數(shù)據(jù)分析和基于機(jī)器學(xué)習(xí)的系統(tǒng)審計早已受到政府監(jiān)管機(jī)構(gòu)的關(guān)注。例如，澳大利亞競爭與消費者委員會（ACCC）對一個受歡迎的酒店搜索引擎進(jìn)行審計時發(fā)現(xiàn)，該算法在排名系統(tǒng)中偏向支付更高傭金的酒店。聯(lián)邦法院最終命令該公司為其在網(wǎng)站和電視廣告中關(guān)于酒店房價的誤導(dǎo)性陳述支付罰款。這一案例強(qiáng)調(diào)了算法審計的益處及其揭示AI應(yīng)用邏輯的能力。此外，最近的一系列法規(guī)使得算法審計成為AI從業(yè)者關(guān)注的重點。
算法審計面臨的最大障礙之一是缺乏詳細(xì)的成熟框架來指導(dǎo)如何基于AI子流程進(jìn)行審計。另一個挑戰(zhàn)是缺乏廣泛采用的AI使用案例的先例。此外，研究人員和監(jiān)管機(jī)構(gòu)使用的審計技術(shù)過于多樣化（在技術(shù)審計方面和審計程序方面），且對應(yīng)的目標(biāo)集各不相同。更近一步講，缺乏基準(zhǔn)控制可能導(dǎo)致審計結(jié)果不一致且不可靠。
盡管如此，值得注意的是，算法審計領(lǐng)域仍處于起步階段。隨著數(shù)字專業(yè)人士對這些工具的理解不斷深入，我們可以期待審計程序和控制措施的不斷完善，這將有助于結(jié)果的一致性，并增強(qiáng)其可靠性和實用性。然而，某些關(guān)鍵控制領(lǐng)域必須在算法審計中得到覆蓋，才能確保審計全面且有用，并產(chǎn)生可靠的結(jié)果。
系統(tǒng)輸入：數(shù)據(jù)控制
數(shù)據(jù)是驅(qū)動算法的燃料。在AI開發(fā)過程中，數(shù)據(jù)在每個階段都至關(guān)重要，獲取相關(guān)數(shù)據(jù)集并創(chuàng)建適當(dāng)?shù)臄?shù)據(jù)管道非常重要。因此，審計必須關(guān)注與各種數(shù)據(jù)源相關(guān)的控制措施，如數(shù)據(jù)的準(zhǔn)確性、準(zhǔn)備和保護(hù)。除了數(shù)據(jù)質(zhì)量相關(guān)的屬性外，審計人員還需確保數(shù)據(jù)集是多樣化、包容性且具有代表性的，因為算法的質(zhì)量取決于其數(shù)據(jù)管道的質(zhì)量。審計人員需要與AI工程團(tuán)隊中的數(shù)據(jù)工程師合作，深入了解訓(xùn)練數(shù)據(jù)的來源以及為應(yīng)對隱私風(fēng)險所采取的措施。隨后，審計人員還需評估數(shù)據(jù)準(zhǔn)備技術(shù)，確保其未改變數(shù)據(jù)的關(guān)鍵特性，如完整性、準(zhǔn)確性及其他統(tǒng)計屬性。
對抗性AI測試
各類法規(guī)要求高風(fēng)險和強(qiáng)大AI系統(tǒng)的開發(fā)者使用模擬對抗性攻擊（如數(shù)據(jù)投毒或提示注入）來測試其模型的魯棒性。對抗性測試是指通過輸入錯誤數(shù)據(jù)來進(jìn)行算法的壓力測試，試圖誤導(dǎo)算法以致其失敗。任何算法審計都應(yīng)包括對組織如何進(jìn)行對抗性測試的評估。應(yīng)有一項獨立的政策，概述對抗性測試的整個過程，以提高模型的安全性和準(zhǔn)確性。
政策應(yīng)包括測試的詳細(xì)內(nèi)容、執(zhí)行測試的人員，以及這些測試在開發(fā)流程中的具體實施時間。隨后，還需測試與這些測試結(jié)果的審查相關(guān)的控制措施，如模型的調(diào)優(yōu)以解決任何異?，F(xiàn)象以及相關(guān)文檔記錄。以AI的紅隊測試為例，紅隊測試在網(wǎng)絡(luò)安全社區(qū)中是指由黑客、道德黑客或安全研究人員組成的團(tuán)隊，模擬不同類型的攻擊者（包括國家級攻擊者和惡意內(nèi)部人員）的活動，試圖攻破系統(tǒng)。這也是測試AI算法防御能力的有效方法，以應(yīng)對意外輸入。美國白宮曾舉辦過一次旨在集合AI社區(qū)、測試頂尖科技企業(yè)模型的活動，以揭示新風(fēng)險，這一事件促使許多組織更加重視對抗性測試的重要性。
AI模型監(jiān)控
AI應(yīng)用部署到生產(chǎn)環(huán)境后，需持續(xù)監(jiān)控以識別模型性能、輸出的準(zhǔn)確性和精度、安全性以及可靠性方面的任何變化。許多第三方AI模型監(jiān)控工具可跟蹤并報告一系列相關(guān)指標(biāo)。算法審計需包括對模型性能相關(guān)參數(shù)的審查、開發(fā)人員實施的可觀測性流程的深入分析，并涵蓋以下領(lǐng)域：選擇用于監(jiān)控的指標(biāo)、其相關(guān)性和適用性、及時發(fā)現(xiàn)問題的能力，以及解決任何發(fā)現(xiàn)問題的程序。斯坦福大學(xué)的語言模型全方位評估（HELM）方法在評估語言模型時會考量的指標(biāo)如準(zhǔn)確性、校準(zhǔn)性、魯棒性、公平性、偏見、毒性和效率，這些都可以作為可靠的基準(zhǔn)。審計人員需檢查AI模型是否通過適當(dāng)?shù)臏y量和閾值持續(xù)監(jiān)控，以檢測任何模型漂移或系統(tǒng)性能異常。
AI模型開發(fā)
AI模型開發(fā)這個概念與IT審計專業(yè)人士有著共鳴，因為其與傳統(tǒng)系統(tǒng)開發(fā)生命周期（SDLC）有相似之處。對AI模型開發(fā)流程的審計將涉及對整個AI系統(tǒng)開發(fā)生命周期和變更管理流程的一般IT控制的審查。然而，在算法和模型開發(fā)的背景下，需特別強(qiáng)調(diào)設(shè)計規(guī)范的細(xì)節(jié)、測試和審批要求的深度。審計人員需評估設(shè)計文檔及相關(guān)威脅模型，理解算法的目的和邏輯，確保涉及到系統(tǒng)對其用戶和社會的影響問題。審計人員還應(yīng)確保在算法部署前已進(jìn)行適當(dāng)?shù)尿炞C程序——通過一系列功能測試驗證系統(tǒng)的各種功能并確保結(jié)果令人滿意。最后，部署到生產(chǎn)環(huán)境中的模型應(yīng)得到具有適當(dāng)權(quán)限的個人批準(zhǔn)，以確保問責(zé)制——簡單的同行代碼審查不夠。這是每次審計中需測試的關(guān)鍵控制，旨在降低未經(jīng)授權(quán)的模型或變更被部署的風(fēng)險，并確保部署得到適當(dāng)管理層的批準(zhǔn)。組織在算法開發(fā)中使用第三方庫或外部來源的預(yù)訓(xùn)練模型時，應(yīng)考慮將靜態(tài)掃描集成到其持續(xù)集成/持續(xù)交付（CI/CD）管道中，以幫助識別軟件漏洞，從而降低模型供應(yīng)鏈攻擊的風(fēng)險。
結(jié)論
算法審計是確保AI技術(shù)安全性、公平性、可解釋性和安全性的有效工具。國際標(biāo)準(zhǔn)化組織（ISO）和國際電工委員會（IEC）最近發(fā)布的ISO/IEC 42001:2023《信息技術(shù)——人工智能——管理系統(tǒng)標(biāo)準(zhǔn)》包含一組可供企業(yè)和審計人員參考的必要控制措施。歐盟關(guān)于《數(shù)字服務(wù)法》下獨立審計以評估超大型在線平臺和搜索引擎合規(guī)性的委任條例也包含了若干算法審計的規(guī)劃指南和審計測試程序示例。算法審計是一個不斷發(fā)展的話題，隨著這些實踐逐漸成熟并得到更廣泛的應(yīng)用，我們可以期待這些實踐變得更加普遍。
作者：Varun Prasad
翻譯：吳夢庭（TIFFANY WU）
來源：ISACA微信公眾號
編輯：孫哲
目前180000+人已關(guān)注我們，您還等什么？
熱門跟貼