基于Pytorch下在Huggingface中加载数据集参考资料

基于Pytorch下在Huggingface中加载数据集参考资料

1. 加载公共/本地数据集到环境中

加载公共数据集并进行增删改查等预处理步骤Use the Datasets library of Hugging Face in your next NLP project

写脚本scirpt.py加载本地数据集并在github上push pull等My experience with uploading a dataset on HuggingFace’s dataset-hub

如何写一个脚本HuggingFace Datasets来写一个数据加载脚本

2. 加载数据喂给torch

Pytorch教程:Dataset和DataLoader

在pytorch中自定义dataset读取数据