评估人工智能系统风险的学习指南

关键要点

人工智能AI技术迅速发展，并且在社会中发挥着变革性作用。风险管理是确保AI系统安全和负责任开发的关键。AI风险可以分为模型风险、AI系统风险和企业风险。评估风险的过程需要组织内部多方参与，实现全面考虑。建立有效的风险评估框架可以提升决策质量和合规性，增强信任度。

人工智能AI是一个快速发展的领域，拥有改善和转变社会各个方面的潜力。2023年，AI技术的应用速度进一步加快，强大的基础模型FMs和生成式AI能力的提升，推动了AI技术的广泛采用。

在亚马逊，我们推出了多项生成式AI服务，如Amazon Bedrock和Amazon CodeWhisperer，并通过Amazon SageMaker JumpStart提供一系列高效的生成模型。这些服务旨在帮助客户发挥生成式AI的新兴能力，包括增强创造力、个性化和动态内容创作以及创新设计。它们还能够使AI从业者以前所未有的方式理解世界，解决语言障碍、应对气候变化、加速科学发现等诸多挑战。

然而，为了实现生成式AI的全部潜力，必须仔细反思可能存在的风险。首先，这对于AI系统的利益相关者而言，促进了负责任和安全的发展与部署，并鼓励采取主动措施以应对潜在影响。因此，建立评估和管理风险的机制是AI从业者必须考虑的重要过程，并且已成为许多新兴AI行业标准例如，ISO 42001，ISO 23894和NIST RMF)和立法例如EU AI Act的核心组成部分。

在这篇文章中，我们讨论如何评估您的AI系统的潜在风险。

风险的不同级别是什么？

虽然从单个机器学习ML模型及其相关风险入手可能更为简单，但重要的是要考虑此模型的特定应用细节及其作为完整AI系统的一部分对应的使用案例。其实，一个典型的AI系统往往基于多个不同的ML模型协同工作，而一个组织可能希望构建多个不同的AI系统。因此，可以针对每个使用案例以及不同级别即模型风险、AI系统风险和企业风险进行评估。

风险类型描述企业风险涉及组织可能面临的广泛风险，包括财务、运营和战略风险。AI系统风险关注与AI系统的实施和操作相关的影响。模型风险特指ML模型固有的脆弱性和不确定性。

在本篇文章中，我们主要集中于AI系统风险。然而，必须注意，组织内部的各个风险管理层面都应该被考虑并协调。

飞机专用加速器免费版

AI系统风险如何定义？

在AI系统的语境中，风险管理可以是一条减少不确定性或潜在负面影响的途径，同时也提供机会来最大化积极影响。风险本身不是的潜在伤害，而是不确定性对目标的影响。根据NIST风险管理框架NIST RMF，风险可以被估算为事件发生的概率与相应事件后果幅度的乘积。

风险有两个方面：固有风险和剩余风险。固有风险是指AI系统在没有缓解措施或控制的情况下所显示的风险量。剩余风险则是指在考虑缓解策略后所剩的风险。

请始终牢记，风险评估是一项以人为中心的活动，需组织内全员努力来完成；这些努力包括确保所有相关利益相关者参与评估过程如产品、工程、科学、销售和安全团队，并评估社会视角和规范如何影响对某些事件发生的可能性和后果的感知。

为什么组织应重视风险评估？

为AI系统建立风险管理框架可以为整个社会带来好处，促进AI系统的安全和负责任的设计、开发和运行。风险管理框架还可以通过以下方式为组织带来益处：

改善决策 理解AI系统相关风险后，组织能够更好地作出决策，以减轻这些风险，安全并负责任地使用AI系统。增强合规规划 风险评估框架可以帮助组织为相关法律法规中对风险评估的要求做好准备。建立信任 通过证明他们正在采取措施以减轻AI系统的风险，组织可以向客户和利益相关者展示他们致力于安全和负责任地使用AI。

如何评估风险？

作为第一步，组织应考虑描述需要评估的AI使用案例，并识别所有相关利益相关者。使用案例是描述用户如何与AI系统互动以实现特定目标的具体场景或情况。在创建使用案例描述时，明确所解决的业务问题、列出参与的利益相关者、描述工作流程以及提供系统关键输入和输出的详细信息是非常有帮助的。

在利益相关者方面，可能会容易忽视一些。以下图示是映射AI利益相关者角色的良好起点。

接下来的一个重要步骤是识别与使用案例相关的潜在有害事件。在考虑这些事件时，思考公平性和稳健性等不同的责任AI维度会很有帮助。不同利益相关者可能在不同维度上受到不同程度的影响。例如，最终用户面临的低稳健性风险可能是因为AI系统出现轻微干扰，而低公平性风险则可能是AI系统对不同人口群体产生的输出存在微小差异。

为了估算事件风险，可以使用可能性与严重性相结合的量表，来测量事件发生的概率和后果程度。开发这些量表的一个有用起点可能是NIST RMF，该框架建议使用定性非数值类别范围，从非常低到非常高风险，或采用半定量评估原则，例如如110规模、分箱或其他可代表数字。定义完所有相关维度的可能性和严重性量表后，可以使用风险矩阵方案定量评估各利益相关者在每个相关维度上的总体风险。

以下图示展示了一个风险矩阵示例。

通过使用此风险矩阵，我们可以考虑一个发生概率极低、影响轻微的事件为非常低风险。请记住，初步评估将是对固有风险的估计，而风险缓解策略可以帮助进一步降低风险水平。然后可以对每个事件生成剩余风险的评级。如果在同一维度上识别出多个事件，最好从中选择最高风险等级来创建最终评估摘要。

使用最终评估摘要后，组织需要定义其AI系统可接受的风险水平，并考虑相关的法规和政策。

亚马逊的承诺

通过与白宫和联合国等各方的接触，我们致力于分享我们的知识和专业经验，以推动AI的负责任和安全使用。在此背景下，亚马逊的亚当塞里普斯基Adam Selipsky最近在AI安全峰会上代表AWS，出席了包括国家首脑和行业领袖的会议，进一步证明了我们对负责任推进人工智能的承诺。

结论

随着AI的不断进步，风险评估在希望负责任构建和部署AI的组织中变得愈发重要和有用。通过建立风险评估框架和风险缓解计划，组织能够降低潜在AI相关事件的风险，与客户建立信任，同时获得例如提高可靠性、提高不同人群的公平性等益处。

开始着手构建您组织的风险评估框架，并在评论中分享您的想法。

同时，查看亚马逊科学发布的生成式AI风险概述：生成时代的责任AI，并探索一系列AWS服务，这些服务可以支持您在风险评估和缓解过程中：Amazon SageMaker Clarify，Amazon SageMaker Model Monitor，AWS CloudTrail，以及模型治理框架。

关于作者

Mia C Mayer是一位应用科学家及AWS机器学习大学的教育者，研究并教授机器学习和AI系统的安全性、可解释性和公平性。她在职业生涯中建立了多个大学外联项目，并曾担任客座讲师和主旨发言人，在多次大型学习会议上进行演讲。她还协助内部团队和AWS客户开始其责任AI之旅。

Denis V Batalov是一名在亚马逊工作了17年的专家，拥有机器学习博士学位，参与过多个激动人心的项目。自2013年以来，他帮助AWS客户采用AI/ML技术，目前担任全球AI/ML技术领导者，负责全球AWS ML专家解决方案架构师的运作。Denis也是一名经常公开演讲的人，您可以通过Twitter关注他@dbatalov。

Dr Sara Liu是AWS责任AI团队的高级技术项目经理，与科学家、数据集负责人、ML工程师和研究人员等跨职能团队合作，推动AWS AI服务的责任AI标准。她目前的项目涉及开发AI服务卡、进行责任AI的风险评估、创建高质量评估数据集以及实施质量项目。她还帮助内部团队和客户满足不断变化的AI行业标准。