存储简介
在 AI 算力全流程中,存储 是保障数据高效流转和模型稳定运行的核心组件。围绕 AI 业务特性,我们为您提供以下三种存储服务:
存储 | 挂载方式 | 性能 | 成本 | 最佳用途 |
---|---|---|---|---|
高性能共享SSD | 多节点挂载 | 高 | 中 | 并发读取训练数据,模型输出共享 |
共享HDD | 多节点挂载 | 中 | 低 | 日志归档、低频共享目录 |
块存储 | 单节点挂载 | 高 | 中 | 容器持久化目录、中间模型、业务存储 |
对象存储 | 网络访问 | 中等偏高 | 低 | 模型仓库、数据集归档、推理服务输入 |
以下为您详细介绍存储推荐的场景和优势,辅助您选择合适您的存储类型。
一、共享存储介绍
1、高性能共享存储SSD
高性能共享存储 SSD 适合高吞吐、低延迟的I/O密集型场景。支持多个计算节点同时挂载访问,特别适合 大规模训练作业中多卡读写共享数据。
优势:
- 性能强劲:高性能共享存储基于NVMe SSD硬件搭建,满足业务的苛刻性能要求。
- 简单易用:提供简洁的 Web 控制台,一键创建和管理共享文件存储卷。
- 共享访问:支持多终端协同工作以及数据共享。
创建和使用参考:创建共享存储
2、共享存储 HDD
共享存储 HDD 提供大容量、低成本的数据共享能力,适合 非实时数据 或 长周期训练日志的集中存放。
优势:
- 成本低,容量弹性高
- 多节点共享访问,便于训练与数据预处理解耦
- 基于NVMe SSD硬件搭建,满足业务的苛刻性能要求。
创建和使用参考:创建共享存储
二、块存储(Block Storage)介绍
块存储提供高性能、低延迟的场景,如虚拟机、数据库和I/O密集型应用。是 训练容器挂载工作目录、存储中间模型参数、缓存临时数据的首选。
优势:
- 支持弹性扩容与自动快照
- 稳定低延迟,提升训练任务效率
- 可结合调度器按任务自动挂载使用
创建和使用参考:创建块存储
三、对象存储(Object Storage)介绍
对象存储(EBTech Object Storage,简称EOS)是英博云提供安全、低成本、高可靠、高可用的分布式云存储服务。适合存储海量非结构化数据,如图片、音频、视频、文本等,支持 HTTP/HTTPS 接口调用,是AI 数据湖、模型仓库、训练后归档的关键组件。
优势:
- 成本极低,按量计费,适合大数据量场景
- RESTful API 友好,适配常见 AI 框架的数据加载方式
- 支持在任何应用、任何时间、任何地点通过网络管理和访问对象存储上的数据。
创建和使用参考:创建对象存储