人工智能事件应对计划：不再只是为了安全_项目动态_考试资讯_IAPP_合规类

当前位置：首页 > 合规类 > IAPP > 考试资讯 > 项目动态 >

人工智能事件应对计划：不再只是为了安全

2023-10-09 16:22:46

浏览量：0

关注我们，学习更多隐私合规讯息

人工智能系统肯定会失败。不可避免的是，这次失败会带来灾难性的后果。对于设计、开发、销售或运营人工智能系统的组织来说，为故障发生的那一天做好准备是必须的——并且可以在及时、可控的响应和混乱之间发挥作用。

人工智能系统特有的故障类型和风险

根据人工智能事件数据库中报告的事件中最常见的故障模式的细分，人工智能故障分为几个类别：安全、未经授权的结果、歧视性结果、侵犯隐私、人身安全以及缺乏透明度和问责制。

这些故障可能面向内部，直接影响用户或消费者，甚至产生更广泛的影响。一家公司准备在多大程度上有效应对，既可以限制法律后果，也可以限制公众的强烈抗议。

虽然像人工智能事件数据库这样的数据库为已经发生的事件类型提供了宝贵的见解，但它们也强调了更新支撑人工智能系统的数据的重要性。这种不准确可能会产生严重影响，从经济损失到健康和安全受损，并可能导致监管处罚和声誉损害。

假设今天发生了一起事件，您的员工或附属公司能否回答以下问题？

1.“事件”由什么构成？
2.发生事故时适用哪些政策？
3.这些政策是否经过测试或实践？
4.确定的个人或团体有哪些角色和责任？
5.谁应该被通知，谁应该做通知，在什么阶段？
6.谁能做出暂停或停止生产或运营的“不允许”决定？

回答这些问题是事件应对计划的开始。它们是必要的，因为与人工智能系统相关的风险与传统软件不同。虽然对数据和模型偏差的担忧受到了极大的关注，但其他独特的方面却鲜为人知。其中一个主要风险是模型衰变，甚至比静态计算机程序更危险。

人工智能模型通常是根据历史数据进行训练的，如果不更新，它们的准确性可能会随着时间的推移而降低。例如，如果人工智能系统训练的数据早于新冠肺炎大流行，其持续运行可能无法准确代表当前现实，从而导致有缺陷的预测或建议。这使得持续监测和重新校准变得至关重要。

另一个令人担忧的问题是，许多人工智能系统异常复杂，尤其是那些实现各种形式的深度学习、神经网络或生成人工智能的系统。由于有多层相互连接的节点和参数，很难确定错误发生在哪里，也很难确定故障决策是如何做出的。

与输出可预测的确定性系统不同，人工智能系统处理概率和不确定性。当错误确实发生时，其影响可能会成倍增加，将微小的不准确转化为重大的失败或伤害。

最后，人工智能系统的基本安全不同于传统的网络安全。模型提取、数据中毒、成员推断、对抗性攻击和其他机器学习特有的漏洞带来了额外的安全风险，可能导致危险的结果，甚至是尴尬的结果。

构建人工智能事件响应计划

人工智能事件应对计划需要超越传统网络安全措施的范围，这些措施主要针对应对黑客攻击或数据泄露等威胁。虽然这些仍然是人工智能系统的担忧，但它们只是画面的一部分。人工智能基于上面讨论的各种和额外的故障模式带来了许多固有的漏洞。

作为制定事件应对计划的基础，完整的人工智能系统清单是关键的第一步。

此外，评估“事件”需要某种测量——有一个模型操作的基线有助于在事情出错时发出警告。最后，内部监督资源总是有限的，因此应该将其用于关注最具实质性的模式，以防止广泛或破坏性的伤害。

有了这个基础，如果为了应对这些额外的威胁而进行修订，遵循信息安全计划中通常实施的传统事件响应流程模式可能是一个有用的框架。

传统的应对计划通常包括六个阶段：准备、识别、遏制、根除、恢复和经验教训。以下是每个阶段如何应用于人工智能事件的简要地图:

准备

围绕人工智能事件响应设计解决内部操作的政策和程序，定义术语和阈值，并分配明确的角色和责任。
确定可预见危害的类别和顺序，并制定处理“不可预见”结果的一般流程。
确保包含发生意外模型输出的事件（不准确、偏差等），以及外部攻击和恶意行为者的结果。
确保政策和程序包含模型生命周期所有阶段的故障。
开展初步和反复培训（个人和组织），以实施政策，确保事件发生后有足够的意识和能力。

识别

遵循程序标准来检测和验证是否发生了事故。
监控人工智能故障可能产生的各种危害的模型和系统。
激活或访问渠道，接受来自受影响商业合作伙伴、消费者或其他第三方的通知、输入和实时反馈。
为创建相关日志、通知和信息共享建立有针对性的程序控制。

遏制

首先解决直接损害，然后停止或暂停操作，在可用的情况下采用临时替代方案，并酌情开始记录、跟踪和备份程序。
执行程序指令，以确定、评估、提升、应对或以其他方式解决事件的近期和长期危害。
应用工程、项目或编程团队确定的技术修复，以减轻危害并最大限度地减少进一步的性能问题。

根除

正式移除运行系统或撤回正在开发的系统，直到充分的审查和缓解能够确认不会发生与特定事件相关的进一步危害。
对修订或更换的系统，特别是与已知事件的危害有关的系统，进行广泛且有文件记录的测试。
检查受影响系统中的任何其他必然性能错误，并查找可能受到影响的任何“上游”或“下游”依赖关系。

恢复

新修订或替换的模型应在部署前进行加固。
在恢复开发或返回生产级别操作之前，对新修复的模型性能指标和输出进行基准测试并记录。

经验教训

审查针对事件生成的文件，创建问题结果的总结报告和分析，以及组织应对行动，并确定差距或具有特定成功或有效性的领域。
在制度上与负责事件响应过程的人员共享此类文件，并酌情将其纳入未来的培训和测试场景中。根据需要审查和更新政策。

有时有一种观点认为，涉及人工智能的事件或失败纯粹是技术挑战，这种观点可能会被简化和误导。人工智能系统并不存在于真空中。它们被纳入复杂的组织、道德和法律框架。因此，当人工智能系统失控时，其影响是多层面的。这一现实应该鼓励我们以全面的方式思考对事件的反应。

解决这一问题的最佳实践之一是培养跨学科团队。已确定的风险管理者可以在技术人员和法律专业人员之间的协调中发挥关键作用，并可以为涵盖人工智能部署多个维度的战略做出贡献。每个角色都贡献了独特但互补的专业知识，共同管理人工智能带来的复杂风险。

实施和管理人工智能事件响应计划

在问责制和治理方面，应指定一个特定的个人或团队作为负责监督人工智能事件应对计划的实体，开始这一过程。这可以是首席风险官（金融服务领域内）、首席政策官、人工智能道德委员会或专门的人工智能治理委员会。他们的作用不仅仅是起草计划；他们还负责定期审查、测试、培训和审计。

访问美国国家标准与技术研究所的人工智能风险管理框架和经济合作与发展组织的人工智能原则等资源，有助于事件应对规划，以及负责任的人工智能治理的所有其他方面。还可以考虑安全与新兴技术中心最近发布的人工智能危害框架，该框架为定义、跟踪和理解人工智能造成的危害提供了一种系统的方法，并补充了NIST和经合组织提供的风险管理视角。

首先，Luminos.Law与未来隐私论坛合作，提出了一套十个问题，旨在衡量潜在的漏洞。这些问题有助于确定人工智能模型的范围、其预期产出和影响范围，同时关注人工智能相关负债的审计和持续监控程序的严格性。该指南的一个关键方面促使组织在其模型中考虑社会学偏见，并遵守可靠人工智能的既定标准。

对人工智能事件进行系统编目和分类的过程已经进行了一段时间。上述人工智能事件数据库收集了560多起单独的事件，其中一些事件包括这些系统的部署人员和开发人员制定的响应。类似地，其他可能提供有用示例的数据库包括人工智能漏洞数据库、AIAAIC和乔治华盛顿大学法学院的人工智能诉讼数据库。

制定人工智能事件应对计划并非易事。它是任何直接或间接与人工智能系统交互的实体的强制性组件。

从承认人工智能系统的独特风险到强调跨学科专业领域的重要性，准备是关键。只有从今天开始计划，应对明天的问题才会成功。

编者批注

✍人工智能协作维护本文中讨论的人工智能事件数据库

*文章来源：iapp.org

*原标题：AI incident response plans: Not just for security anymore

*整理编辑：A隐小私(yinxiaosi00)

▼关注我们，最新考试政策/合规资讯抢先看▼