pytorch-dataset-class-implementations

PyTorch Dataset 类实现指南与说明 1. 继承 torch.utils.data.Dataset 类 自定义数据集类必须继承自 torch.utils.data.Dataset，并实现以下两个核心方法：__len__ 和 __getitem__。 2. 实现 __len__ 方法 该方法返回数据集中样本的总数。例如： ```python def __len__(self): return len(self.data) ``` 3. 实现 __getitem__ 方法 该方法接收一个索引（整数），返回该索引对应的单个样本（通常为一个元组，包含数据和标签）。例如： ```python def __getitem__(self, idx): sample = self.data[idx] label = self.labels[idx] return sample, label ``` 4. 数据预处理 可在 __init__ 方法中加载数据，并在 __getitem__ 中进行实时预处理（如图像增强、归一化、文本编码等）。建议使用 torchvision.transforms 或自定义转换函数。 5. 支持索引和切片 __getitem__ 应支持整数索引。若需支持切片操作，可额外实现 __getitems__ 方法（PyTorch 1.11+ 支持）。 6. 内存效率 对于大型数据集，避免在 __init__ 中一次性加载全部数据到内存。可采用惰性加载（lazy loading）方式，在 __getitem__ 中按需读取文件。 7. 多进程安全 当与 DataLoader 配合使用多进程（num_workers > 0）时，确保数据加载过程是线程安全的，避免共享资源冲突。 8. 数据格式一致性 确保所有样本返回的张量形状和数据类型一致，以便 DataLoader 能正确批处理。 9. 异常处理 在 __getitem__ 中添加适当的异常处理（如文件不存在、数据损坏），可返回默认值或跳过错误样本。 10. 与 DataLoader 配合使用 实现完成后，可通过 torch.utils.data.DataLoader 加载数据，支持批处理、打乱顺序、多进程加载等功能。 示例结构： ```python from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self, data, labels, transform=None): self.data = data self.labels = labels self.transform = transform def __len__(self): return len(self.data) def __getitem__(self, idx): sample = self.data[idx] label = self.labels[idx] if self.transform: sample = self.transform(sample) return sample, label ```

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本