安全使用生成式AI，亚马逊首席安全官的3个问题和3条建议

【TechWeb】4月16日消息，近日，亚马逊首席安全官Steve Schmidt接受了《华尔街日报》的访谈，就生成式AI时代下的企业安全的热点议题发表观点，并提出可行建议。

Steve Schmidt

Steve Schmidt于2010年加入亚马逊，并在亚马逊云科技首席信息安全官任职长达12年，2022年起就任亚马逊首席安全官至今。他是资深的安全工程师，拥有十多项云安全架构领域的专利。

作为云计算的开创者的引领者，安全是亚马逊云科技的最高优先级，亚马逊云科技构在实践中总结经验，构建了行之有效的安全文化。

就在上周，亚马逊CEO安迪·贾西（Andy Jassy）在发给股东的公开信中还特别谈到：不要低估GenAI中安全性的重要性。客户的人工智能模型包含了他们最敏感的一些数据。

Steve Schmidt也是亚马逊安全文化的践行者和倡导者之一。无论在亚马逊云科技任职CISO，还是现在在亚马逊任职CSO，他都将打造安全文化视为其职业生涯的骄傲。

在此次访谈中，Steve Schmidt谈到了使用生成式AI时的安全挑战及建议。

Steve Schmidt认为任何企业在谈及使用生成式AI的安全问题时，都必须问自己三个问题：

问题一：数据在哪里？

企业需要知道用数据训练模型的整个工作流程中，这些数据来自哪里，以及是如何被处理和保护的。

问题二：我的查询和任何相关数据会发生什么？

训练数据并不是企业需要关注的唯一敏感数据集。当企业及其用户开始使用生成式AI和大型语言模型时,他们很快就会掌握如何让查询更有效。之后，他们会在查询中添加更多细节和具体要求，从而获得更好的结果。企业使用生成式AI进行查询，企业需要清楚的知道生成式AI服务会如何处理输入进模型的数据以及查询结果。企业查询本身也是敏感的，应该成为数据保护计划的一部分。如果从外部视角看，从用户提出的问题中推断出很多信息，很多情况下，这些都是非常敏感的。

问题三：生成式AI模型的输出是否足够准确？

这是最重要的一点，从安全角度来看，生成式AI的使用场景定义了风险，也就是说不同的场景对准确度的要求是不同的。如果你正在使用大型语言模型来生成定制代码，那么你就必须要确认这个代码是否写得足够好，是否遵循了你的最佳实践等等。

事实上，这不是Steve Schmidt第一次提出这三个问题。

在亚马逊云科技2023 re:Invent全球大会上，Steve Schmidt就曾明确提出上述三个问题。

对生成式AI的安全问题的思考，Steve Schmidt可谓是一以贯之的。

在这次的访谈中，Steve Schmidt进一步给出了企业内部利用生成式AI进行创新时的三条安全建议：

第一，安全团队说“不”很容易，但不是正确的做法。我们培训内部员工了解公司关于使用人工智能的政策,他们可以如何安全地使用它。我们还指导他们使用符合公司人工智能使用政策的方式。对于安全团队来说，说“不”很容易，但对于所有业务团队、开发人员等来说，绕过安全团队也同样容易。因此,我认为企业在使用生成式AI时最好的做法是教育、告知、指导、设置防护栏，并使用能够满足预设目标的云服务，同时还需要精确了解这些服务如何使用和保留数据。

第二，可见性。我们需要通过可见性的工具来了解员工如何使用数据。我们需要限制在工作需求之外的数据访问。我们还会监控他们如何使用外部服务访问这些数据。如果我们发现有不符合政策的情况发生，例如在涉及到非工作需求之外的敏感数据访问，我们会停止这种行为。在其他情况下，如果员工使用的数据不太敏感，但是可能会违反政策，我们会主动联系员工去了解真实目的并寻求解决之道。

第三，通过机制解决问题。机制是可重复使用的工具，允许我们随着时间的流失精确地驱动特定的行为。例如，当员工违规操作时，系统会通过如弹窗来提示员工，并建议使用特定的内部工具，并就相关问题进行报告。

此外，Steve Schmidt还谈到了当前利用生成式AI来改善企业信息安全的几条可实操的路径。

首先，Steve Schmidt表示：“我认为利用生成式AI提升安全代码的编写工作能够有效地推动整个行业进入更高级别的安全领域。”

在Steve Schmidt看来，从安全和成本的角度来看，一开始就编写安全的代码，比在编写完成后、已经进行了集成测试，甚至交付给客户后再去修改要好得多。可以说，代码的编写方式是信息安全中最大的杠杆因素之一，开始阶段的小问题可能导致严重的安全后果，而生成式AI在这方面确实非常有帮助。

例如，Amazon CodeWhisperer是具有内置安全扫描功能的AI编码助手，能够帮助开发者基于注释生成代码，追踪开源参考，扫描查找漏洞，同时对个人开发者免费。

其次，可用生成式AI对抗黑客。在防范黑客方面，生成式AI加快了安全工程师的效率。

使用生成式AI模型构建自动响应流程，可以对预定事件进行快速响应和输出。尤其是在人工交互领域，大模型可以让不懂技术的管理人员也能够在安全事件发生时快速理解发生了什么。例如，Amazon Detective有一个基于生成式AI的流程来构建安全事件的文字描述，这意味着安全工程师可以拿到准备好的内容，对其进行调整，确保准确，用于解释正在发生的事件，从而节省数小时的时间。

最后，还可以借助生成式AI缓解网络安全人才短缺。Steve Schmidt表示，最近，生成式AI在检测客户账户中的异常行为方面发挥了很大的作用，可帮助更准确地隔离和提醒个别用户的高度可疑行为。生成式AI可以非常有效地识别和提醒这种行为。这种方法可以让安全团队将精力集中在战略业务计划和更高价值的任务上，而不仅仅是发现和响应事件，因为我们都希望能够防患于未然，而不只是事后响应。