科幻体验如今已经出现在您的行业中。
译自 Edge AI: How to Make the Magic Happen with Kubernetes 。
想象一下：你走进梅西百货商店，暂时离开虚拟世界，沉浸在实体购物的触觉体验中。
当你进入时，一个名叫 Friday 的高大、宽肩的安卓机器人热情地欢迎你。
“欢迎回来，Lucy。今天你感觉怎么样？你喜欢上周买的粉红色毛衣吗？”
被这种个性化服务惊讶到，你回答道：“我感觉很好，谢谢。我其实是想找一件衬衫搭配那件毛衣。”
Friday 继续与你交谈，微妙地探询你的偏好，最后它胸部内置的智能镜子亮了起来。它扫描你的身体，在你的虚拟形象上叠加选定的服装。令人印象深刻吧？
现在，你点点头，Friday 的小助手就会取来你选择的衣服和配饰，并带你去最近的更衣室。
科幻电影几十年来一直在梦想(不总是积极的)这种场景 - 你能相信《少数派报告》已经上映 20 多年了吗?
但终于，未来来了。在零售、医疗、农业等广泛行业，这就是人工智能(AI)快速成熟带来的变革。从自动驾驶汽车和其他无人机器人，到采摘水果的机器人和 AI医学图像诊断，AI 现在无处不在。
这里是翻译:
尽管我们描绘的梅西百货商店场景中客户体验看似迷人，但支持它的技术编排也同样令人印象深刻。
当我们说 “AI” 时，我们可能在谈论如此多不同技术的无缝集成:
- 文本转语音(TTS)，将 Friday 的对话和产品名称转换为语音。
- 语音转文本(STT)，识别你的回复并存储。
- 对象检测，识别服装和客户。
- 自然语言处理，从你的语音回复中提取意义。
- 图像生成根据提示创建样品服装。
当然，最重要的是，一个实时的、向量化的可用商店商品和客户记录数据库。
当我说 AI 正在迅速成熟时，我不是在开玩笑。感谢蓬勃发展的开源技术和简单的 SaaS 产品，这些复杂的功能现在真的可以为每个企业所用，包括你的企业。
我最近构建了一个模拟这个交互式个性化购物体验的演示。它还不是完全成熟的 Friday，也没有机器人身体 - 但它就在你的浏览器中，供你随时尝试。
顺便说一句：作为一个不再像以前那样编程的人，我还是能够在不到一天的时间内实现整个技术栈，大部分时间都在与 CSS 角力来创建圆角！实际的 TTS、STT 和 LLM 都相当简单，利用了令人赞叹的 OpenAI API 。
当然，在现实世界中，我可能不会想把公司数据输入 OpenAI 的内部，这就是为什么我强烈建议你查看我们的开源 LocalAI 项目，它可以在本地运行所有这些。
如今，在云和数据中心进行模型训练和深度学习需要巨大的计算能力，非常计算密集。我们上面讨论的许多核心处理和服务在云服务上运行，这样它们可以轻松扩展和管理。
但是对于实际的关键业务推理工作，零售助手和其他 AI 工作负载可能不应该存在于云中。它们需要存在于边缘。事实上，我们认为大多数 AI 工作负载的自然家园将是网络边缘运行。
为什么？分布式计算将处理能力和计算资源放在更接近用户和业务流程的位置。它规避了几个关键挑战：
- 连接性: AI 工作负载可能涉及大量的数据。然而，特别是在农村或工业使用案例中,边缘位置的互联网连接通常是间歇性的或缓慢的，这造成了一个重大瓶颈。而且 5G 网络的部署在短期内也无法解决这个问题。如果您在设备上处理数据，就不需要连接互联网。
- 延迟: 即使您具有与数据中心或云的连接性，延迟也成为一个因素。几百毫秒听起来可能不多，但是在实时交互中，这是漫长的时间。在边缘运行 AI 工作负载可以实现几乎瞬间的实时体验。
- 云成本: 大型云服务提供商对您的数据收费、在可用区之间移动并再次提取。在数百万次 AI 交互中，这些费用会积累。
- 数据隐私: 许多 AI 工作负载将收集敏感的受监管数据。你真的希望你的身体测量和购物历史漂浮在云端吗？使用边缘计算，你的个人敏感数据会在边缘服务器本地处理，如果合规性要求，可以保持在那里。
任何试图在 Kubernetes 或其他平台上大规模部署边缘计算基础设施的人都会告诉你这是艰巨的工作。
您将面临有关持续部署和载入硬件的挑战。当店里没有可以熟练运用命令行的 IT 专家时，如何启动和激活你的 Friday 安卓机器人？
当设备可能容易受到物理篡改时，您必须解决安全性问题。至少您需要考虑加密和一种验证设备信任的方法，从启动开始和之后。
并且您需要在规模上管理硬件和软件堆栈，从监控到修补程序。考虑到小型边缘设备的硬件限制以及设备与总部后端管理基础设施之间的间歇性连接，这本身就是一个重大挑战。您需要一个零风险更新的体系结构，并且能够在与外界隔离的环境中有效运行。
在边缘环境中添加 AI 引入了更多层次的复杂性。您需要管理的不仅仅是基础设施，还有：
模型: 您的数据科学家可以在 Hugging Face 等流行存储库中选择大量现成的数据集和模型。如何帮助他们快速尝试和部署这些模型，然后每天或每周保持更新？
AI 引擎: 诸如 Seldon、BentoML 和 Kserve 等引擎需要不断维护、更新和调优以获得最佳性能。跨许多位置更新这些会变得乏味并容易出错。
AI 模型实时处理传入数据，将语音命令或传感器读数等原始输入转化为可操作的洞察或个性化交互。Seldon、BentoML 和 Kserve 等 AI 引擎运行这些 AI 模型。可以这样思考：AI 模型是工作负载，AI 引擎是执行这些模型的运行时。
这就是我们在构建今天发布的 Palette EdgeAI 时攻克的问题空间。
Palette EdgeAI 帮助您部署和管理完整的堆栈，从边缘 OS 和 Kubernetes 基础设施到驱动您的创新 AI 应用的模型。
在深入功能列表之前，EdgeAI 使您能够：
- 大规模将边缘 AI 堆栈部署和管理到边缘位置，从易于使用的硬件载入选项到包含您选择的AI引擎的可重复“蓝图”。
- 通过易于集成的存储库和安全的版本控制更新和回滚，频繁更新边缘模型而不会导致停机时间。
- 通过从硅片到应用的完整安全体系结构来保护关键知识产权和敏感数据，包括不可变性、安全引导、SBOM 扫描和与外界隔离模式。
AI 与边缘计算的结合不仅仅是一个有趣的可能性；它是技术和用户体验的下一个飞跃的必需品。当我们站在这个激动人心的前沿时，一件事很清楚：购物、医疗保健、商业和生活的许多其他方面的未来将比以往任何时候都更智能、更快速和更个性化。
您的行业也有边缘 AI 使用案例。根据 MarketsandMarkets Research 的研究，全球边缘 AI 软件市场规模将从 2020 年的 5.9 亿美元增长到 2026 年的 183 亿美元。
准备成为这个未来的一部分吗？当然，你准备好了。但是只有当您能够解决边缘的挑战时，AI 的益处才会握在您手中。这就是我们可以提供帮助的地方。那么，为什么不看一看 Palette EdgeAI，告诉我们您的想法呢?