存储简介
在 AI 算力全流程中,存储 是保障数据高效流转和模型稳定运行的核心组件。围绕 AI 业务特性,我们为您提供以下三种存储服务:
| 存储 | 挂载方式 | 性能 | 成本 | 最佳用途 |
|---|---|---|---|---|
| 高性能共享SSD | 多节点挂载 | 高 | 中 | 并发读取训练数据,模型输出共享 |
| 共享HDD | 多节点挂 | 中 | 低 | 日志归档、低频共享目录 |
| 块存储 | 单节点挂载 | 高 | 中 | 容器持久化目录、中间模型、业务存储 |
| 本地存储 | 单节点挂载 | 高 | 中 | 非持久化目录、开发机运行时目录、临时数据、中间计算结果与缓存文件存放 |
| 对象存储 | 网络访问 | 中等偏高 | 低 | 模型仓库、数据集归档、推理服务输入 |
以下为您详细介绍存储推荐的场景和优势,辅助您选择合适您的存储类型。
一、共享存储(Shared Storage)介绍
1、高性能共享存储SSD
高性能共享存储 SSD 适合高吞吐、低延迟的I/O密集型场景。支持多个计算节点同时挂载访问,特别适合 大规模训练作业中多卡读写共享数据。
优势:
性能强劲:高性能共享存储基于NVMe SSD硬件搭建,满足业务的苛刻性能要求。
简单易用:提供简洁的 Web 控制台,一键创建和管理共享文件存储卷。
共享访问:支持多终端协同工作以及数据共享。
创建和使用参考:创建和管理共享存储
2、共享存储 HDD
共享存储 HDD 提供大容量、低成本的数据共享能力,适合 非实时数据 或 长周期训练日志的集中存放。
优势:
成本低,容量弹性高
多节点共享访问,便于训练与数据预处理解耦
创建和使用参考:创建和管理共享存储
二、块存储(Block Storage)介绍
块存储提供高性能、低延迟的场景,如虚拟机、数据库和I/O密集型应用。是 训练容器挂载工作目录、存储中间模型参数、缓存临时数据的首选。
优势:
支持弹性扩容
稳定低延迟,提升训练任务效率
可结合调度器按任务自动挂载使用
创建和使用参考:创建和管理块存储
三、本地存储(Local Storage)介绍
对象存储(EBTech Local Storage,简称ELS)是直接挂载在计算节点上的本地磁盘资源,提供极高 I/O 吞吐与极低访问延迟,适用于对性能敏感、生命周期随开发机实例绑定的场景。
优势:
极致性能,超低延迟
随开发机实例自动创建与挂载,无需额外申请存储资源,开机即可使用,降低使用与运维成本。
使用参考:使用本地存储
四、对象存储(Object Storage)介绍
对象存储(EBTech Object Storage,简称EOS)是英博云提供安全、低成本、高可靠、高可用的分布式云存储服务。适合存储海量非结构化数据,如图片、音频、视频、文本等,支持 HTTP/HTTPS 接口调用,是AI 数据湖、模型仓库、训练后归档的关键组件。
优势:
成本极低,按量计费,适合大数据量场景
RESTful API 友好,适配常见 AI 框架的数据加载方式
支持在任何应用、任何时间、任何地点通过网络管理和访问对象存储上的数据。
创建和使用参考:创建对象存储桶