翻译自 Stopping AI Hallucinations for Enterprise Is Key for Vectara 。

一位 Cloudera 的创始人现在正在解决企业中生成式 AI 和大型语言模型的问题。第一个挑战：防止AI幻觉。

目前有许多公司急于将大型语言模型（LLM）和生成式 AI 引入企业领域， Vectara 就是其中之一。为了了解 Vectara 是如何向企业客户推销其产品以及如何解决 AI 的幻觉问题，我采访了创始人/首席执行官 Amr Awadallah 。

Awadallah 作为一位科技创始人，有着成功的历史记录，他于 2008 年共同创立了 Cloudera，并在 2017 年将其变成一家上市公司。最近，他曾在 Google 担任副总裁，之后在 2022 年初创立了 Vectara 。

尽管大型语言模型已经在演绎推理方面证明了其非常成功，但科技界对它“产生幻觉”事实的倾向仍存在很多担忧。像 ChatGPT 这样的网络服务在回答人类提示时并没有实时访问网络，因此在某些情况下，推理会出错，它们只是编造答案。我问 Awadallah 对这个问题有什么看法。

他调侃道：“人类也会产生幻觉，对吧。”他接着说，在组织中解决这个问题的方法是拥有事实核查人员，他认为在人工智能时代也需要这样做。

“这正是我们在 Vectara 解决这个问题的方式，”他说。“我们的目标是让 ChatGPT 适用于您自己的业务数据。”

根据 Awadallah 的说法，您可以通过三种方式为您的业务添加类似 ChatGPT 的功能。第一种是通过微调 LLM，继续使用您自己的数据对其进行训练。

他说：“这确实使它更有能力谈论您的数据，但它不能防止幻觉。它仍然会编造内容。”

他补充说，这种方法也很昂贵和缓慢。这引出了 ChatGPT 化您的业务数据的第二种方法：提示工程（prompt engineering）。这种方法涉及找出“我们如何在提示中提供一些额外的元素，以约束大型语言模型不要产生太多幻觉，”他说。

他继续说，提示工程可以减少幻觉，但“它不会增加模型对您自己内容的认识。”

第三种方法，也是 Vectara 使用的方法，是“检索增强生成（Retrieval-Augmented-Generation）”。据 Awadallah 的说法，这是 AI 先驱吴恩达提倡的方法。

这种方法涉及使用两个神经网络。第一个是检索引擎，它“专注于检索最相关的事实，以回答系统中传入的提示、查询或问题”，他解释道。一旦您有了这些事实，就为第二个神经网络创建一个新的提示，指示它仅使用这些事实中的数据进行响应。第二个 LLM 是一个概括引擎。

因此，它是关于完善从 AI 系统获得的信息，直到您获得与其提供的业务特定数据密切相符的答案。

即使采用这种方法，大型语言模型仍有可能产生幻觉。因此，Vectara 有一个最后一步。 Awadallah 说，第二个神经网络的输出需要进行事实核查，“以查看它与原始事实的接近程度。”

他将 “接地（grounding）” 这个术语归功于微软，他说这个术语很好地描述了上述过程。“通过将其限制在事实上，来使大型语言模型接地，”他说。

我问 Vectara 是否使用自己专有的 LLM，第三方 LLM （例如OpenAI或Google）或开源 LLM ？

他回答说，检索引擎是他们自己的专有引擎。“我们建立了这个模型-这是我们的专业领域，是我们的核心，是我们的本质。”

总结模型是 mT5 ，这是另一个开源模型。“就总结而言，我们并不局限于任何特定的模型，”他说。“我们选择能够完成我们所需工作的最佳模型。”

除了主要的两个 LLM 之外， Vectara 还使用了一个“交叉注意力重写（cross attentional re-writer）”模型，这是他们自己开发的。Awadallah 说，这个模型重新排序了来自检索模型的数据，“以便最相关的事实在列表中排名较高，不太相关的事实排名较低。”然后将其通过总结模型。

当我与 Cohere 交谈时，他们也从事将类似于 ChatGPT 的功能引入企业的业务，他们谈到客户将自己的数据添加到 Cohere 的基本模型中，并在这些自定义模型上使用强化学习。

Vectara 的做法不同。 Awadallah 称之为“宜家开发者模式”，他描述它对客户来说是“非常规范的”。相比之下，他将 Cohere 和 OpenAI 的方法描述为“家得宝开发者模式”，客户被赋予工具集，从这些工具中创建解决方案。

“这是如何完成这项任务的规范说明，”他谈到 Vectara 进行生成式 AI 的方式。“还有一种非常简单的 UPI（User-Provisioned Intelligence）可以帮助他们完成任务。”

最后，考虑到 Awadallah 在 Cloudera 和 Google 的经验，我问他是否认为当前的 AI 技术景观类似于云计算早期-换句话说，生成式 AI 和 LLM 是否将再次改变企业 IT 的一切？我补充道，看起来 AI 技术将很快嵌入到所有企业IT系统中。

“绝对是的，”他回答道。“我相信，在五年内，每个应用程序-无论是在消费者端还是在企业端-都将重新架构，以更符合人性的方式表达我们试图实现和尝试做什么。”

他所说的“符合人性的方式”是指我们将与应用程序进行对话。他认为这是用户体验上的重大变革，可与 iPhone 首次推出时的触摸界面相媲美。

当然，与 AI 对话是非常好的，但真正的挑战是防止它说谎。