Skip to content

存储简介

在 AI 算力全流程中,存储 是保障数据高效流转和模型稳定运行的核心组件。围绕 AI 业务特性,我们为您提供以下三种存储服务:

存储挂载方式性能成本最佳用途
高性能共享SSD多节点挂载并发读取训练数据,模型输出共享
共享HDD多节点挂日志归档、低频共享目录
块存储单节点挂载容器持久化目录、中间模型、业务存储
本地存储单节点挂载非持久化目录、开发机运行时目录、临时数据、中间计算结果与缓存文件存放
对象存储网络访问中等偏高模型仓库、数据集归档、推理服务输入

以下为您详细介绍存储推荐的场景和优势,辅助您选择合适您的存储类型。

一、共享存储(Shared Storage)介绍

1、高性能共享存储SSD

高性能共享存储 SSD 适合高吞吐、低延迟的I/O密集型场景。支持多个计算节点同时挂载访问,特别适合 大规模训练作业中多卡读写共享数据。

优势:

  • 性能强劲:高性能共享存储基于NVMe SSD硬件搭建,满足业务的苛刻性能要求。

  • 简单易用:提供简洁的 Web 控制台,一键创建和管理共享文件存储卷。

  • 共享访问:支持多终端协同工作以及数据共享。

创建和使用参考:创建和管理共享存储

2、共享存储 HDD

共享存储 HDD 提供大容量、低成本的数据共享能力,适合 非实时数据 或 长周期训练日志的集中存放。

优势:

  • 成本低,容量弹性高

  • 多节点共享访问,便于训练与数据预处理解耦

创建和使用参考:创建和管理共享存储

二、块存储(Block Storage)介绍

块存储提供高性能、低延迟的场景,如虚拟机、数据库和I/O密集型应用。是 训练容器挂载工作目录、存储中间模型参数、缓存临时数据的首选。

优势:

  • 支持弹性扩容

  • 稳定低延迟,提升训练任务效率

  • 可结合调度器按任务自动挂载使用

创建和使用参考:创建和管理块存储

三、本地存储(Local Storage)介绍

对象存储(EBTech Local Storage,简称ELS)是直接挂载在计算节点上的本地磁盘资源,提供极高 I/O 吞吐与极低访问延迟,适用于对性能敏感、生命周期随开发机实例绑定的场景。

优势:

  • 极致性能,超低延迟

  • 随开发机实例自动创建与挂载,无需额外申请存储资源,开机即可使用,降低使用与运维成本。

使用参考:使用本地存储

四、对象存储(Object Storage)介绍

对象存储(EBTech Object Storage,简称EOS)是英博云提供安全、低成本、高可靠、高可用的分布式云存储服务。适合存储海量非结构化数据,如图片、音频、视频、文本等,支持 HTTP/HTTPS 接口调用,是AI 数据湖、模型仓库、训练后归档的关键组件。

优势:

  • 成本极低,按量计费,适合大数据量场景

  • RESTful API 友好,适配常见 AI 框架的数据加载方式

  • 支持在任何应用、任何时间、任何地点通过网络管理和访问对象存储上的数据。

创建和使用参考:创建对象存储桶