预置数据集

查找预置数据集

预置数据集的入口位于，英博云控制台：AI 资产 -> 数据集，在页面搜索自己所需的数据集。

例如：搜索 openai,页面如下，点击 复制访问路径，获取该数据集在 /public 下的具体地址，示例路径：/public/huggingface-datasets/openai/gsm8k。

在开发机中使用预置数据集

在获取了预置数据集的访问路径后，可以直接在开发机中查看与使用。

在开发机上执行：

ls /public/huggingface-datasets/openai/gsm8k

即可查看数据集目录下的内容。

在实际推理或训练过程中，可以像使用本地文件一样，直接加载该路径下的数据集，而无需重复下载。

优势：

• 节省数据下载时间

• 降低本地存储和内存开销