影响工程团队最大的AI趋势及应对挑战的建议
译自 3 AI Trends Developers Need to Know in 2025，作者 Andrew Sellers; Adi Polak。
自2020年以来，人们对AI的兴趣激增，此后一直主导着各大新闻头条和董事会议题的讨论。因此，业务发展也随之而来——根据Confluent的数据流报告中的调查结果，81%的IT领导者将AI和机器学习列为其2024年预算中的重要或首要任务。
但是，所有这些关注和投资是否会导致AI在近期未来无处不在并按预期运行？这完全取决于企业是否拥有足够数量的工程师队伍，他们具备新的技能、合适的工具和值得信赖的数据，以将AI的承诺转化为现实世界的能力。
让我们来看看对工程团队影响最大的AI趋势，以及我们关于如何克服这些挑战的建议。
大型语言模型(LLM)继续遵循摩尔定律的推论，随着它们考虑的训练数据量、定义它们的参数量以及它们注意力可以考虑的上下文窗口的大小呈指数级增长。然而，模型的可解释性总体上仍然难以捉摸。LLM通常是糟糕的推理代理，因此将它们与我们已知有效的机器结合起来，将使我们在克服幻觉方面取得更大的进展，而仅仅依赖LLM会导致幻觉。
对开发者的影响
LLM本质上是随机的，而许多传统的QA最佳实践假设被测试的系统是确定性的。开发者将不得不依靠不同的方法来测试和建立对LLM启用应用程序的信心。我们可以应用历史上有效的机器学习(ML)技术和其他技术来衡量输出质量并最大限度地减少幻觉。通过应用特定的防护措施，工程师可以构建能够可靠地识别何时出现幻觉或提供低置信度分数信息的LLM。
与LLM相比，使用经过微调的小型语言模型将提供更好的响应。但是，开发者需要为其提供正确的见解，例如事件以及及时和个性化的数据，才能使其成功。开发者可以用来减少幻觉影响的一种有前景的模式是检索增强生成 (RAG)，在推理时将提示与相关的特定领域信息结合起来。
自主AI系统承诺代表特定业务职能、团队甚至业务中的个人做出决策并独立行动。然而，随着AI模型变得越来越复杂，它们往往会失去透明度，这为工程团队在构建和部署AI代理时带来了难以回答的问题。
对开发者的影响
与自动化程度较低的系统相比，在相关系统使用输出之前识别AI中的错误要困难得多。使用实时数据管道实现RAG可以帮助增强自主AI解决方案的重要上下文，以提高环境感知能力和决策能力。
随着这些解决方案从概念到开发和生产，越来越多的组织将需要一个数据流平台 (DSP)，它具有流式处理、处理和治理功能，以便长期可持续地构建和扩展这些能力。由DSP支持的事件驱动架构为自主系统提供了一个实现框架，将其建模为可组合微服务的异步工作流。这种方法促进了自主系统各个组件的可重用性，并使大型系统比作为大型单体创建时更容易分析和扩展。
对动态或实时数据访问的需求增长并非仅限于AI/ML计划，但它促进了实时智能的发展。在过去十年中，工程团队越来越多地使用开源流引擎，如Apache Kafka和Apache Flink来支持实时推荐、预测和异常检测。
对开发者的影响
这种趋势也将影响到这些项目背后的基础设施和团队。转向实时数据访问将允许更灵活和动态的数据组织，这使得人类用户、聊天机器人甚至AI代理能够快速访问和查询广泛的数据。
寻找降低构建实时AI解决方案时复杂性和成本的公司需要将数据处理左移，并使用数据合约以实现对可信数据产品的动态访问。生成的数据产品可以作为数据流或开放表格格式被消费。这种方法允许数据团队促进高效的数据处理，以干净、一致的格式向工程师提供数据，并使他们能够更有信心、更少风险地构建动态AI应用。
然而，仅向工程师提供可靠的数据还不足以确保人工智能项目的成功。领导者还需要激励经验丰富的工程师培训和指导初级团队成员，为他们提供时间和资源以及支持，以专注于构建差异化的应用。
数据工程师可以利用大型语言模型和通用人工智能工具来发展他们的提示工程技能，并提高他们对编码模板的熟悉度。如果工程师保持对计算机科学基础的敏锐，提高他们在数据和人工智能/机器学习领域流行语言如Python和Java的熟练度，并理解实时数据处理和事件保证，这将大有帮助。