PyTorch学习笔记——(6)数据加载Dataset和DataLoader的使用
发布日期:2021-05-15 00:34:15 浏览次数:11 分类:精选文章

本文共 3702 字,大约阅读时间需要 12 分钟。

PyTorch ���������������������������������

������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

���������������Dataset Class������������������

���PyTorch������������������������������������torch.utils.data.Dataset���������������������������������������������������������������������������������������������������������������������������������

  • __len__()������������������������������������������������������������
  • __getitem__()���������������������������������������������������������
  • ������������Dataset���������������������������������������������������������������������������������������������

    import pandas as pdfrom torch.utils.data import Datasetclass MyDataset(Dataset):    def __init__(self):        self dataSet = pd.read_csv("./data/wendu_8_4_9_2.csv").values        def __getitem__(self, index):        return selfDataSetToTensor(selfDataSet[index])        def __len__(self):        return len(selfDataSet)        @staticmethod    def toTensor(data):        return torch.from_numpy(data)

    ������������������������������CSV���������������������PyTorch������������������MyDSataset������������������������������������������������������������������������toTensor()���������������PyTorch���������������

    ������������������DataLoader������������������������������������

    ���������������������������������������������������������������������������������������������������������������������PyTorch������DataLoader���������������������������������������������

    • ������������������������������������������������������������������
    • ���������������������������������������������������������������
    • ���������������������������������������������������������������������
    • ������������������������������������������������������������������������������������������������

    DataLoader������������������������

    from torch.utils.data import DataLoaderimport pandas as pdimport torchdataSet =MyDataset() # ���������������������������# ������������������������dataLoader = DataLoader(    dataSet=dataSet,    batch_size=32,    shuffle=True,    num_workers=2)for batch in dataLoader:    print(batch)    print('*' * 50)

    DataLoader���������������������

  • dataset������������������������������������������
  • batch_size������������������������������������������������������32���64���128������
  • shuffle���������������������������������������������������������������������
  • num_workers������������������������������������������������0���������������������
  • drop_last������������False������������������������������������������������������
  • ���������DataLoader��������������������������������� batches������������������������batches���������������������������������������������������������������������������������

    ���������������������������

    ���������DataLoader���������������������������������

  • ���������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

  • ���������������������������������������������������������������������������������������������������������������������������

  • ������������������������������������������������num_workers������������������������������

  • ���������������������������������������������������������������������drop_last������������������������������������������������

  • ������������������DataLoader���������������������������������������������������������������������������������������������������

    上一篇:PyTorch学习笔记——(5)手动实现线性回归 和 利用pytorch实现线性回归
    下一篇:数据结构与算法(Python版)——(7)系统性的介绍图,以及图的python代码实现

    发表评论

    最新留言

    感谢大佬
    [***.8.128.20]2025年04月30日 01时56分29秒