为什么生成式人工智能 (GenAI) 不是开发人员构建更智能应用程序时应该依赖的唯一模型类型。
译自 Why Developers Should Try Predictive AI，作者 Loraine Lawson。
每个人都在尝试使用生成式人工智能 (Gen AI)，但根据Cloudflare开发者平台和AI产品副总裁的说法，开发者应该考虑将其他形式的机器学习整合到他们的应用程序中。
“每个人都在尝试，我认为这给人一种感觉，即在生产中，在真正重要的用例中，发生的事情比实际情况要多，”Kozlov说。“我们看到的是，许多聊天机器人正被推到用户体验的前沿。”
她补充说，这未必是正确的方法。仅仅为了使用生成式AI而推出聊天机器人，可能会让公司看起来像是“只是在勾选AI复选框”，而没有考虑它是否真的对用户有帮助。
她建议，预测性AI是开发者应该探索的另一个选择。预测性AI使用机器学习算法来识别过去事件中的模式，并对未来事件进行预测。它用于欺诈检测、信用风险评估、需求预测，甚至疾病诊断等任务。
例如，一个日历应用程序可以使用机器学习来帮助用户找到可用的预约时间。
“你不需要为此依赖生成式AI，”Kozlov说，并补充道，“显然，有很多用例表明生成式AI对当今的人们非常有用。”
预测性AI依赖于推理AI，这是使用训练好的模型对新数据生成预测的特定行为。她说，运行推理AI实际上需要的资源比运行训练工作负载要少。
Cloudflare的Workers AI管理后端，并通过API为开发者提供无服务器AI推理访问权限。她补充说，该平台还提供各种开源模型的访问权限。
Kozlov注意到的另一个趋势是，组织应该部署在较少参数上训练的小型模型，而不是利用最大的模型。
“人们意识到，好的，有一些模型有4000亿个参数，但你实际上无法运行它们。它们太贵了，”她说。“我们也看到一种向小型模型回归的转变。”
开发人员发现，使用仅提供少量模型的流行GenAI提供商提供的AI的API非常容易。
“人们意识到，好的，有一些模型有4000亿个参数，但你实际上无法运行它们。它们太贵了。”
– Cloudflare产品副总裁说
当开发者想要部署某些开源大型语言模型或内部训练的模型时，情况就会变得棘手。然后，他们需要为基础设施配置虚拟机。
“如果你想利用一些非常棒的开源模型，或者是你自己训练的模型……你又回到了必须配置虚拟机，并真正考虑我将获得的峰值容量是什么，或者我将获得的峰值负载是什么，并围绕该峰值负载配置容量。”
她说，大多数工作负载并非一直以100%的速率运行——这非常罕见。这意味着开发人员在配置方面做了很多猜测工作，并且为不需要支付的资源支付了过多的费用。
“你正在减慢自己的速度，因为你必须考虑所有这些事情并进行管理，并设置负载平衡、路由等等，而不是做最初促使你使用AI的事情，那就是你想尽快进入市场，并通过将AI集成到你的应用程序中获得竞争优势，”她说。
Kozlov说，Cloudflare一直在使用预测性AI来识别真实的攻击与网络流量的合法峰值。 她说：“我们意识到，我们可以利用我们已经构建的用于保护和加速应用程序的相同网络，并使用该网络为开发人员提供服务，以便他们直接在其之上构建应用程序。”
除了连接到推理 AI 的 API 外，基于云的 Web 平台还为开发人员提供：
- Vectorize，其向量数据库，允许开发人员将自己的内存/特定领域信息带入模型；
- Retrieval Augmented Generation 支持，可用于根据领域知识微调模型；以及一个
- AI 网关，有助于监控运行各种 AI 模型的成本。
她说：“AI 网关可以帮助你监控所有这些内容并进行实验，但它能够让你获取和比较结果，真正缩小对你特定工作负载而言重要的方面，无论是成本、性能还是准确性，并查看用户获得的响应。”