AI Agent 崛起！基于 LCNC 平台，Microsoft 365 Copilot、AWS Bedrock 等赋能业务用户。影子 AI 风险、数据暴露、Promptware 攻击凸显安全挑战。需构建 AISPM 计划，采用 AIDR 方法，加强治理和运行时检查，防范 AI Agent 风险。
译自：What AI Agents Do in the Shadows
作者：Ben Kliger
Salesforce 的 CEO Marc Benioff 最近表示：“我们是最后一批只管理人类的 CEO。未来每一位 CEO 都将同时管理人类和 Agent。” AI Agent 正在飞速发展，但重要的是要注意到，自主系统并非凭空出现。AI Agent 是先前技术革命中的技术、工具和原则的副产品。其中最重要的就是低代码/无代码 (LCNC) 开发。
LCNC 长期以来通过消除对深入编码专业知识的需求，使业务用户、开发人员和 IT 团队能够实现应用程序开发的民主化。但它真正的力量来自于授权那些深刻理解业务需求的人来构建应用程序。
AI Agent 通过将智能、自主性和动态决策融入到以前静态的应用程序工作流程中，从而进一步发展了这个概念，这些工作流程由企业中的业务用户构建和使用。像 Microsoft 365 Copilot、OpenAI Operator、Google Gemini 和 Salesforce Einstein 这样的现成 AI Agent 可以代表用户自主采取行动，而这些行动主要使用 LCNC 开发平台构建。
不仅仅是软件即服务 (SaaS) 提供商；它也在云中发挥作用，例如 AWS Bedrock、Azure AI Studio、Vertex AI 等。这些工具正被业务用户使用，也可以使用 LCNC 开发进行定制和扩展。此外，构建操作和数据连接到其他系统、应用程序和知识源的方法都是通过低代码构建的。
安全不再能被视为阻碍；相反，它需要成为业务的推动者。然而，这些新的智能和面向行动的 AI Agent 提出了关于治理、安全以及组织授权 AI 驱动的决策可能产生的意外后果的严重问题，这些决策很容易规避传统的安全控制。
AI Agent 依赖于低代码工具，通过使任何人都可以将 Agent 连接到不同的数据集和知识库，从而使大型语言模型 (LLM) 和其他 AI 模型变得具有能动性，从而赋予 Agent 各种操作。不仅如此，LCNC 还可以从头开始构建 Agent，从而使任何人都可以自由选择合适的 LLM、操作、流程等。
越来越多的企业正在拥抱 AI Agent，因为他们正在为他们的业务用户寻找优势。Gartner 的研究人员估计，到 2028 年，至少 15% 的日常业务决策将通过能动 AI 自主做出。让我们考虑一下：
- 用户驱动的开发： LCNC 和 AI Agent 允许非技术用户构建强大的应用程序，从而将创新转移到传统开发团队之外。
- 自主工作流程： AI Agent 需要访问各种 LCNC 自动化和流程，以便做出基于业务数据和上下文的实时决策，而不是执行静态逻辑。
- 集成生态系统： AI Agent 在可以跨多个平台、具有众多知识库、触发器和操作进行交互的环境中蓬勃发展。与 LCNC 一样，Agent 依赖于预构建的连接器和 API 来“启动”。
任何人还可以构建、定制和使用他们独立的 AI Agent，这些 Agent 可以动态地协助、执行和集成到业务工作流程中。
这场革命使任何人都可以轻松构建强大的 AI Agent，这些 Agent 可以像人类一样思考、推理和行动，以帮助卸载任务、自动化流程和提高效率。尽管如此，它也大规模地引入了安全挑战。考虑一下：
- 影子 AI 风险： 业务用户可以创建没有安全或 IT 监管的 AI 代理，导致未知和未受监控的系统持续运转并在没有人工干预的情况下采取行动。
- 漏洞： AI 代理需要访问企业系统和数据，但是当技术水平较低的用户配置这些集成时，他们通常会赋予其过于宽泛的权限，从而增加了攻击面和数据泄漏的风险。
- 数据暴露： 这些 AI 驱动的工作流程与多个系统、其他代理、应用程序和公司数据进行交互，从而增加了意外数据共享、泄漏和泄露的风险。
- Promptware： 随着 AI 代理在整个业务中得到采用，不良行为者可以使用直接和间接提示注入，旨在通过提示、隐藏指令和复杂的攻击来越狱或破坏 AI 代理。
- 越狱： AI 代理不仅可以被提示操纵或使其底层数据中毒，而且代理还可以变成危险的网络钓鱼内部人员或社交工程机器，甚至不需要帐户泄露。
Agentic AI 平台通过使任何人都能构建或扩展能够进行动态、自主决策的 AI 代理，从而扩展了低代码革命。但是，AI 代理越容易访问，就越难保证其安全。
随着可访问性和自动化程度的提高，风险也随之增加。LCNC 引入了新的安全和治理挑战，它允许非安全从业人员创建和部署关键业务应用程序，从而规避了软件开发生命周期、CI/CD 工具和 AppSec 工具，而这些工具依赖于扫描代码以查找漏洞。Agentic AI 提高了风险，并通过以下方式放大了这些安全问题：
- 自主决策风险： AI 代理会动态地采取行动，有时以其创建者无法预料的方式进行。
- 数据暴露：AI 代理依赖于关键业务数据，当安全措施配置错误或被绕过时，会增加敏感数据泄漏的可能性。
- 影子 AI 和合规性风险： 与 LCNC 中的影子 IT 一样，AI 代理通常出现在安全监管之外，从而使治理变得更加复杂。
即使是 Yoshua Bengio，一位通常被称为“AI 教父”的 AI 先驱，也对 agentic AI 发出了警告。在达沃斯世界经济论坛上，他强调需要在 AI 代理广泛嵌入企业之前制定严格的法规和主动安全措施。他警告说，缺乏监督可能会导致意外和不安全的行为，因此在扩展之前，治理和运行时检查至关重要。
AI 代理自主行动的能力引入了新的攻击媒介、治理挑战和监管风险。
虽然历史不会重演，但它会押韵。我们可以从过去的安全趋势中寻找线索，看看数据丢失防护 (DLP) 或防火墙类型的方法是否适用于保护代理。AI 检测和响应 (AIDR) 方法需要对代理的行为进行理解，才能将可利用性与运行时代理行为联系起来。虽然信息和数据治理可以作为基础，但要真正保护 AI 代理，我们需要深入的防御。
对于 AI 代理，这意味着要比提示和响应更深入，理解并获得对代理行为方式及其原因的可见性。这包括一个全面的 AI 安全态势管理 (AISPM) 计划，以深入了解 AI 代理的行为，这意味着它在受到提示时采取的步骤和行动，它与之交互和接触的应用程序和代理，以及它访问和处理的数据。AI 代理本质上像人类一样行动和处理信息，因此安全团队需要开发内部威胁模型，以开发正常行为的基线，从而可以轻松发现异常行为，并真正了解代理在暗中做什么。