通过整合外部知识来源，RAG 帮助大型语言模型克服参数化内存的局限性，并显著减少幻觉。
译自 Why RAG Is Essential for Next-Gen AI Development，作者 Cornell Anthony。
RAG（检索增强生成）是一种突破性技术，它将信息检索与文本生成相结合，以提高人工智能系统的知识和准确性。利用 RAG 可以帮助开发人员确保应用程序响应具有最丰富的上下文和准确性，因为它可以访问原始模型训练之外的精选数据库。这种能力使 RAG 尤其受欢迎，尤其是在聊天机器人、虚拟助手和内容生成器中。
RAG 最重要的优势在于 它有助于防止 大型语言模型 (LLM) 中常见的“幻觉”。幻觉是指 LLM 对提示做出不准确或无意义的响应。Biostrand 报告 表明，流行的 LLM 的幻觉率在 3% 到 27% 之间，而对于科学任务，该比率上升到 33%。RAG 显着降低了 这些数字，因为它从当前和可靠的外部来源以及充满高度准确信息的精选知识库中提取数据。解决并克服 RAG 实施伴随的一些常见挑战的组织，例如系统集成、数据质量、潜在偏差和伦理考虑，将增加他们创建更具知识性和可信赖的 AI 解决方案的机会。
最近的统计数据表明，RAG 的使用正在成倍增长。一项 2023 年 研究发现，36.2% 的企业 LLM 使用案例依赖于 RAG。随着越来越多的组织发现这项技术的优势，今年这一比例很可能已经大幅上升。通过将基于检索的系统的优势与生成式语言模型相结合，RAG 解决了现代 AI 应用程序的三大主要问题：训练数据有限、领域知识差距和事实不一致。RAG 利用向量数据库系统来提高 AI 的速度和效率，从而产生更连贯、更信息丰富且更具上下文感知的答案。RAG 已被证明在四种应用程序类型中特别有效：
- 客户支持。RAG 对查询有更深入的了解，并能对这些查询做出更精确、更详细和更及时的响应。
- 内容创作。RAG 使 LLM 能够访问更及时和准确的数据，从而提高文章、报告和其他书面内容的质量。
- 研究与开发。通过提供对精选知识库的访问，RAG 有助于消除过时数据中的不准确性和偏差，并从大量科学文献中生成更精确的见解。
- 医疗保健。RAG 根据最新的医学研究和患者数据提供信息。
RAG 帮助开发人员克服在构建现代应用程序时经常遇到的几个挑战。这些挑战及其解决方案包括：
- 保持最新。信息可能快速变化，导致系统响应过时。
RAG 解决方案：RAG 将语言模型和知识库分开，以便可以实时更新知识库，并始终从最新的信息中提取数据。
- 集成困难。微服务架构在许多现代应用程序中很流行，它会使 AI 集成变得复杂。
RAG 解决方案：RAG 的模块化设置非常适合微服务架构。例如，开发人员可以将信息检索作为单独的微服务，以便更轻松地扩展和与现有系统集成。
- 应用程序编程接口 (API) 冲突。当今的应用程序经常依赖 API 进行数据交换和功能实现。
RAG 解决方案：RAG 很容易作为 API 服务实施。使用 RAG，可以分别创建用于检索和生成的端点，以实现更灵活的集成，并促进更轻松的测试、监控和版本控制。
- 持续集成和部署 (CI/CD)。加快开发和部署速度会导致系统中断。
RAG 解决方案：将检索与生成分开可以实现更细粒度的更新。开发人员还可以创建 CI/CD 管道来独立更新检索语料库和微调生成模型，从而最大限度地减少系统中断。
- 处理大量数据。应用程序通常需要筛选大量数据。
RAG 解决方案：高级索引技术和向量数据库优化了大型数据集搜索，促进了快速准确的信息检索。
- 处理多种数据类型。许多应用程序处理多种数据类型，包括文本、图像、音频和视频。
RAG 解决方案：RAG 现在可以扩展到传统的文本之外，还可以检索其他类型的数据，例如图像、音频剪辑等等。
- 保护隐私和数据。如今，人工智能应用程序需要满足严格的数据和隐私保护法规。
RAG 解决方案：使用 RAG，开发人员可以创建仅访问批准数据集的检索系统，并将敏感信息的检索限制在特定的本地设备上。
- 在扩展时保持个性化。传统的人工智能系统通常难以实现用户个性化。
RAG 解决方案：开发人员可以创建针对用户偏好、历史记录和上下文定制的检索系统，并生成定制的响应。
通过解决这些限制，RAG 提供了几个优势，可以提高系统性能和用户体验，包括提高对开放式查询的响应能力，提供更具信息量和上下文相关性的响应。此外，RAG 通过允许在不重新训练模型的情况下扩展知识库，提高了系统的灵活性和适应性。由于 RAG 允许系统利用来自多个领域的数据，因此系统的响应质量也得到了提高。
从医疗保健到金融的各个领域的公司都在利用 RAG 并利用其优势。例如，谷歌使用基于 RAG 的 系统 来提高搜索结果的质量和相关性。该系统通过从精选的知识库中检索相关信息并生成自然语言解释来实现这一点。Anthropic 是一家人工智能安全和研究公司，利用 RAG 使其人工智能系统能够访问并从包含法律和道德文本的庞大数据集中汲取见解。该系统旨在使其答案与人类价值观和原则保持一致。Cohere 是一家专门从事大型语言模型的人工智能公司，利用 RAG 创建对话式人工智能应用程序，这些应用程序使用相关信息和上下文适当的响应来响应查询。
RAG 实施的成功通常取决于公司是否愿意投资于策划和维护高质量的知识来源。未能做到这一点将严重影响 RAG 的性能，并可能导致大型语言模型的响应质量远低于预期。公司经常遇到的另一个难题是开发有效的检索机制。密集检索是一种语义搜索技术，而学习检索则涉及系统回忆信息，这两种方法都产生了良好的结果。
许多公司需要帮助将 RAG 集成到现有的 AI 系统中，并将 RAG 扩展以处理大型知识库。应对这些挑战的潜在解决方案包括高效的索引和缓存以及实施分布式架构。另一个常见问题是正确解释 RAG 生成的响应背后的推理，因为它们通常涉及来自多个来源和模型的信息。可视化注意力和模型自省是解决此挑战的两种技术。帮助公司从 RAG 获得最佳性能的其他最佳实践包括：
- 持续监控。持续监控和评估 RAG 的性能可以防止幻觉和系统退化。
- 迭代开发。遵循一种系统逐步更新和改进的方法可以减少潜在的停机时间，并帮助解决问题，甚至在问题出现之前就解决问题。
- 数据安全。定期进行审计并提供定期的员工培训可以帮助组织降低遭受破坏性数据泄露的可能性。
一旦克服了挑战，RAG 的优势就会迅速显现出来。通过整合外部知识来源，RAG 帮助 LLM 克服了参数化内存的局限性，并显著减少了幻觉。正如 Douwe Keila 在最近的一次 采访 中所说，关于 RAG 的原始 论文 的作者， “使用 RAG 模型，或者检索增强语言模型，你就可以获得归因保证。你可以指回并说，‘它来自这里。’… 这让你可以解决幻觉问题。” 通过实施 RAG，AI 开发人员可以构建 LLM，提供更准确的信息和上下文感知的响应，可以处理跨越不同领域的复杂查询。所有这些都提高了性能和整体用户体验，为企业在当今竞争激烈的市场中提供了至关重要的优势。