存储简介

在 AI 算力全流程中,存储 是保障数据高效流转和模型稳定运行的核心组件。围绕 AI 业务特性,我们为您提供以下三种存储服务:

存储挂载方式性能成本最佳用途
高性能共享SSD多节点挂载并发读取训练数据,模型输出共享
共享HDD多节点挂载日志归档、低频共享目录
块存储单节点挂载容器持久化目录、中间模型、业务存储
对象存储网络访问中等偏高模型仓库、数据集归档、推理服务输入

以下为您详细介绍存储推荐的场景和优势,辅助您选择合适您的存储类型。

一、共享存储介绍

1、高性能共享存储SSD

高性能共享存储 SSD 适合高吞吐、低延迟的I/O密集型场景。支持多个计算节点同时挂载访问,特别适合 大规模训练作业中多卡读写共享数据

优势:

  • 性能强劲:高性能共享存储基于NVMe SSD硬件搭建,满足业务的苛刻性能要求。
  • 简单易用:提供简洁的 Web 控制台,一键创建和管理共享文件存储卷。
  • 共享访问:支持多终端协同工作以及数据共享。

创建和使用参考:创建共享存储

2、共享存储 HDD

共享存储 HDD 提供大容量、低成本的数据共享能力,适合 非实时数据长周期训练日志的集中存放

优势:

  • 成本低,容量弹性高
  • 多节点共享访问,便于训练与数据预处理解耦
  • 基于NVMe SSD硬件搭建,满足业务的苛刻性能要求。

创建和使用参考:创建共享存储

二、块存储(Block Storage)介绍

块存储提供高性能、低延迟的场景,如虚拟机、数据库和I/O密集型应用。是 训练容器挂载工作目录、存储中间模型参数、缓存临时数据的首选

优势:

  • 支持弹性扩容与自动快照
  • 稳定低延迟,提升训练任务效率
  • 可结合调度器按任务自动挂载使用

创建和使用参考:创建块存储

三、对象存储(Object Storage)介绍

对象存储(EBTech Object Storage,简称EOS)是英博云提供安全、低成本、高可靠、高可用的分布式云存储服务。适合存储海量非结构化数据,如图片、音频、视频、文本等,支持 HTTP/HTTPS 接口调用,是AI 数据湖、模型仓库、训练后归档的关键组件

优势:

  • 成本极低,按量计费,适合大数据量场景
  • RESTful API 友好,适配常见 AI 框架的数据加载方式
  • 支持在任何应用、任何时间、任何地点通过网络管理和访问对象存储上的数据。

创建和使用参考:创建对象存储