HuggingFace 内置数据集的使用

这一步非常简单，我们将使用两个开源库。

数据集提供的方法

通过文档我们看到了一些主要方法。第一个是数据集的列表，可以看到HuggingFace提供了 3500 个可用数据集

要实际使用数据集时可以使用 load_dataset 方法进行加载

加载数据集后会返回一个数据集对象。

自定义数据集加载

我们在最终使用的时候肯定会用到自己的数据，这时仍然可以将本地 CSV 文件和其他文件类型加载到Dataset 对象中。例如，假设有一个 CSV 文件，可以简单地将其传递给 load_dataset 方法。

也可以处理多个 CSV 文件

当使用 HuggingFace 提供的预训练模型对自己的数据集进行微调时，使用自定义数据集会非常方便。