近年来,不断上涨的云成本一直是一个反复出现的话题。我们看到企业云在 2020 年期间激增;在
译自 Object Storage Is Key To Taming Cloud Costs,作者 Kumar Goswami。
不断上涨的云成本 已成为近年来反复出现的话题。我们看到企业云使用量在 2020 年 期间激增;在 2022 年末到 2023 年初,云提供商报告称收入下降且持平,因为首席体验官对膨胀的云账单感到震惊。然而,趋势再次发生转变,尽管云回迁仍然是一种趋势。根据 Flexera 2024 年云状况,近三分之一的公司每年在公共云上花费超过 1200 万美元,比 2023 年增长了 24%。
IT 领导者必须继续投资公共云基础设施,因为它提供了可扩展性和灵活性,提供了节省成本的机会,也许最重要的是,主要的云提供商现在托管了一套现成的服务,用于启动 AI 项目。
然而,将 数据传输到云 可能是一个障碍。IT 领导者必须花费比以往更多的时间来研究云服务、迁移和分层工具和方法,同时了解其独特的数据环境。云提供了各种存储服务和层级,价格差异很大。对于非结构化数据,云文件存储(如 Azure Files 或 AWS FSX)和云对象存储(如 Amazon S3 或 Glacier)是流行的选择。你可以将云成本至少降低 70%——但这需要在适当的时间将数据迁移和分层到适当的存储类别。在 前一篇文章 中,我讨论了将文件迁移和归档(又称分层)到云之间的差异,以及何时使用每种方法。
简而言之,云数据迁移是从数据中心将文件移动到云文件存储的过程。然后,用户必须直接从云访问迁移的数据。当您计划使用云作为文件存储来从云运行应用程序时,或者当您想将云用于 AI 的长期归档或数据湖时,云数据迁移才有意义。这是一个“分离归档”,需要对用户和应用程序进行更改。
云分层是使用云对象存储透明地扩展本地文件系统的过程。理想情况下,分层解决方案应允许用户从本地文件系统访问分层文件,以便不对用户或应用程序进行更改。当您需要实时或“附加归档”或对现有基础设施进行扩展时,这很有意义。
无论是分层还是迁移到云,对象存储都是需要考虑的重要因素。在本文中,我将重点介绍作为企业数据迁移和分层目标的经济高效的对象存储。
与为活动数据提供高性能、可扩展性和按使用付费定价优势的云文件存储不同,云对象存储是一种极好的方式,可以大幅节省很少使用或“冷”的数据。对象存储被设计为高度可扩展且存储大量数据成本更低。与文件存储不同,对象存储更适合于多次读取且很少写入或修改的数据,因此非常适合用作归档。将数据迁移到对象存储的另一个好处是使用新服务,例如云 AI 和 ML 工具,这些工具主要设计为与对象一起使用。这里的重点是你的数据可以本地提供给这些服务。最后,如果你将数据移入 不可变存储(例如 AWS S3 对象锁定),则没有人可以修改或删除它,从而创建一种经济实惠的勒索软件防御策略。
平均而言,云对象存储比云文件存储低 2 到 10 倍。此外,如果你正在主动读取和写入文件(获取/放置操作),则这些操作的成本会累加到文件服务器上。
服务 | 存储类型价格 | (GB/月) |
---|---|---|
AWS 对象存储 | S3 标准 | .023 |
S3 Infrequent Access | .0125 | |
S3 Glacier 即时检索 | .004 | |
Amazon EFS 文件服务器 | 标准 | .30 |
Infrequent Access | .016 | |
归档 | .008 |
利用云对象存储是你的云迁移和分层策略的一个重要元素,特别是对于文件数据,因为它可以 平均节省 70% 的年度存储和备份成本。
对象存储非常适合归档,因为冷数据通常不会被写入或修改。此外,对象存储成本低廉,但与磁带不同,数据可以在毫秒内检索。大多数 数据分层 解决方案都是策略驱动的,并且持续运行,这使得它们非常适合将冷数据从快速昂贵的的文件系统移动到成本低得多的对象存储系统。由于它们可以在不干预的情况下运行,因此可以保证您的分层项目将提供持续的数据存储节省。但是,许多分层解决方案将文件分解为对象存储上的专有块,从而使数据在云中毫无用处。
将文件分层到云对象存储时需要考虑的关键方面包括:
- 该解决方案是否提供透明性,以便用户可以像从未分层一样从原始源查看、搜索和访问文件?
- 是否可以从对象存储中以本机方式访问文件?从本质上讲,整个文件是否作为本机对象保留在云中,以便您可以利用使用对象接口访问内容的云服务和应用程序?
- 您是否可以执行策略驱动的自动化以减少开销并确保持续的成本优化?
- 是否保留文件元数据,以便文件对象具有二元性,并且可以将数据作为文件或对象检索?如果您用例需要基于文件的访问,则这是需要考虑的重要元素。
- 您是否可以将文件重新注入到源文件系统,并完全忠实于内容、元数据、权限和访问控制列表 (ACL)?这确保了数据在返回文件服务器后得到适当保护。
在将文件迁移到云对象存储时,如果以文件形式检索数据很重要,请确保解决方案保留文件元数据。此外,请确保本机对象访问可用。
迁移本地对象比将文件迁移到云对象更直接,因为这是一个“类似”迁移。如果您正在为云应用程序迁移对象,则需要迁移本地存储的所有必需数据。
由于云迁移跨 WAN 进行,因此请寻找专门设计为高速传输数据的解决方案。这可以将大型迁移时间表从几个月缩短到几周;漫长而复杂的迁移周期是许多企业云之旅的显着障碍。
如果您出于归档目的迁移对象,则需要分析数据以识别具有“冷”对象的存储桶并确定要迁移的内容。
对象存储具有高度可扩展性,并且比文件存储成本更低。如今,有许多解决方案可以将文件高保真地转换为对象,从而使您能够利用云存储的较低成本,同时仍然能够将数据以完全保真度重新注入到文件系统中。