数据访问治理与安全解决方案可直接接入高级机器学习库，从而规范语言模型的交互行为。
译自 Beyond Prompt Engineering: Governing Prompts and AI Models，作者 Jelani Harper。
确保支持文本生成人工智能应用的语言模型的安全面临艰巨的实际挑战。除了实现、调优和提示工程这些模型以产生最佳结果外，精明的组织正在努力管治它们与用户的交互，以保护数据隐私、法规遵循和数据安全协议。
在使用检索增强生成(RAG)等结构将模型限制在内部来源的同时匿名化和保护数据只是部分问题。更大的问题在于能够管控不仅是用户在部署这些模型时在提示中插入的信息，还有模型引发的响应。许多其他因素，包括组织使用的语言模型的数量、它们支持的应用范围以及员工或客户与它们交互的实时性质，似乎会混淆传统的治理努力。
然而，通过在分散的内部来源框架内集中管理的数据安全治理的巧妙结合，用户可以在遵守隐私、合规性和访问控制授权的时候实现惊人的结果。
根据Privacera首席营销官Piet Loubser的说法，当代解决方案“声明您将拥有所有应用程序的库及其下面的派生模型。我们可以知道对它们创建的所有策略，然后我们将开始跟踪您发现的所有用户的交互和行为。”
此外，当治理系统检测到特权滥用、政策违反和提示或模型响应中的不当内容时，它可以修改它们——实时地——以维护组织已指定的治理规则。
管治面向任意数量企业应用的各种基础模型的用户提示和模型输出的要点是在模型库中嵌入治理工具的能力。从架构的角度来看，组织可能有一个由分布式用户基础访问的各种聊天机器人、相似性搜索机制或其他此类文本生成AI部署的数组。但是，他们会“利用LangChain或[Amazon] Bedrock或任何其他将聊天机器人连接到后端模型的开放库”，Loubser规定。用户可以在其选择的基础模型应用开发框架(包括OpenAI等资源)中插入一个Privacera代理，以将其数据安全治理功能推进该系统。
随后，”无论输入的是什么提示，也就是问题，后端都有一个代理基本上来找我们，问这没问题吗，需要进行某种处理吗，”Loubser透露。“我们字面意义上快速查看提示，输出时也是如此。”根据用户有哪些策略，敏感或适用法规的数据可以被遮蔽或编辑。也可以让模型拒绝请求。
隐含在这种范式中的是基础治理系统扫描自然语言提示和语言模型输出并根据策略违规对其进行评估的能力。组织仍负责制定有关如何治理数据的政策，但执行取决于治理引擎的自然语言功能来理解这些非结构化文本交换。这项努力的核心是一个“围绕这一点的相当复杂的引擎，它将策略与我们正在扫描和识别的文本模式中的内容以及之前的任何问题和提示的上下文联系起来，”Loubser 添加。治理用户与语言模型交互也需要一定程度的上下文理解。
虽然基于角色的访问控制(RBAC)或基于属性的访问控制(ABAC)可能参与策略执行过程，但该引擎必须上下文化其扫描的结果并将其应用于策略和特定的访问请求。Loubser 提到了一种假设的用例，信用局的员工可能会要求智能聊天机器人提供客户的联系信息。“如果我在客户成功部门，我可以说什么是Kimberley的手机号码，我可以得到这些信息，” Loubser评论道。“作为营销人员，您可以询问该问题，但系统需要告诉您不可以看到它，因为它不在您的数据库中。PII 不适当。”
扫描语言模型提示和随后的响应的引擎必须具有低延迟，这一点至关重要。过长的延迟可能导致采用不足和生成式AI投资的浪费。根据Loubser的说法，Privacera可以“实时扫描提示、文本摘要和其他模型输出，没有任何系统开销”。然而，引擎可以解析的无结构化文本的规模确实存在明显的限制。“在这种上下文中，您不会像抛出四TB的提示并在实时中解密它并做一些事情，” Loubser提到。“这不是它的工作方式。它通常是问题、答案、问题、答案，以小段落的形式。像一对[一百个]字符。”
负责此类操作的引擎通常在数据目录和数据治理解决方案中收集元数据。关键是将其应用于完全非结构化的文本数据——而不是半结构化数据——以及它获取的上下文量。在这个意义上，该引擎可以根据该解决方案将“基于问题上下文识别出来的数百个预构建表达式”来评估模型输出和传入提示，Loubser解释道。“它将试图识别您正在谈论一个人。它将确定您是否在询问有关PII或社会安全号码的问题。”
Privacera在语言模型中的治理功能的总体意义是多方面的。该解决方案通过将自身嵌入模型连接的应用开发框架中，为组织可能需要的整套模型集中了安全访问控制。
此外，它利用自己对非结构化文本的理解来评估提示和模型输出的上下文，根据策略和分类对其进行评估，并实时实施控制以保留治理惯例。其结果降低了实施我们这个时代最受欢迎的技术的风险，同时进一步扩大了其实用性，使其更适合更广泛的用例。