存储未来的大容量:创新硬盘面密度 助力人工智能发展

百科 tuoni 2024-03-31 08:26 35 0

1897年,马克·吐温这位作家看到自己的讣告后,开玩笑地说:“我死了的消息,被过分夸张了。”同理,在数据存储领域,机械硬盘也一直面临着像没落一样的被夸张的报道。

但是,机械硬盘和马克·吐温一样,都没有真的死去,而是继续发展壮大,占据了超大规模云数据中心近90%的存储空间,而这些数据中心又承载了世界上大部分的EB级数据。随着云计算和人工智能产生的数据量激增,对高容量存储的需求也空前高涨。

当然,存储需求的增加并不是什么新事。新的是存储的数据增长迅猛。市场研究机构IDC预测,到2027年,全球生成的数据量将达到291ZB,而2023年,这个数字为129ZB,相当于2022-2027年的复合年增长率为22.4%(来源,IDC全球数据圈预测,2023-2027年,#US50554523,2023年4月)。

根据Statista的数据,从2010年到2022年,全球创造、存储、复制和消费的数据量增长了60倍,并且这个速度还会持续加速。

推动这个趋势的是生成式人工智能和大语言模型的应用。由于需要海量数据来训练和改进,最优秀的人工智能模型在很大程度上依赖于高容量数据存储。领先的企业将越来越倾向于保留他们的原始数据集和人工智能处理的结果。

以特斯拉为例,特斯拉从全球各地的道路上的数百万辆电动汽车收集海量数据,用于训练人工智能驾驶模型和地图制作。

社交媒体也是一个例子:Facebook、LinkedIn、小红书和YouTube等平台收集海量数据,用人工智能进行分析。2023年,全球广告收入达到6798亿美元,证明了这种商业模式的成功。

世界经济论坛在一项调查中显示,75%的受访企业预计在未来五年内采用人工智能技术来提升他们的产品和服务并增加生产效率(来源:世界经济论坛,2023年5月)。

我们预计ChatGPT、文心一言(Ernie Bot)和Bard等生成式人工智能技术将在未来五年内创造100ZB的数据。

存储所有数据

为了应对数据增长,需要更多的存储容量,这就进一步需要更多的物理数据中心来容纳密度和容量更高的存储设备。

大部分的通信服务提供商和数据中心运营商都会混合使用机械硬盘和固态硬盘。他们设计的存储架构由优化过的存储介质组合而成,考虑了支持的工作负载的成本、容量和性能要求。

随着数据量的暴涨,对机械硬盘和固态硬盘的需求将继续高涨,机械硬盘服务高容量工作负载,而固态硬盘解决性能要求更高的工作负载。

数据的指数级增长将成为推动高容量机械硬盘需求的关键因素,机械硬盘和闪存的协作将继续支持现代工作负载。

硬盘继续发挥关键作用

为了应对预期的数据存储增长,硬盘必须在存储容量方面做得更好,这意味着硬盘的密度需要大幅提升。幸运的是,硬盘行业一直在努力解决这个问题,引入了新的技术,如热辅助磁记录(HAMR),可以倍增碟片密度。希捷第一代HAMR硬盘每个碟片容量为3TB,相比之下,传统PMR硬盘单碟片最高容量为2.4TB。预计未来几代HAMR硬盘将进一步将密度提升到单碟片容量4TB或5TB。这相当于在不远的将来,我们将拥有40TB-50TB的高容量硬盘。

硬盘外形规格不变的情况下增加容量,这有利于数据中心轻松地在现有硬盘寿命结束时进行替换,以最低的成本扩展整个数据中心的存储容量,且几乎不会造成业务中断。在多PB和EB规模上,将16TB的传统PMR硬盘替换为30TB的HAMR硬盘可以显著节省功耗和其他运营成本。

评论区