×

PyTorch教程4.2之图像分类数据集

消耗积分:0 | 格式:pdf | 大小:0.22 MB | 2023-06-05

敷衍作笑谈

分享资料个

广泛用于图像分类的数据集之一是手写数字的MNIST 数据集 LeCun等人,1998 年) 。在 1990 年代发布时,它对大多数机器学习算法提出了巨大挑战,其中包含 60,000 张图像 28×28像素分辨率(加上 10,000 张图像的测试数据集)。客观地说,在 1995 年,配备高达 64MB RAM 和惊人的 5 MFLOPs 的 Sun SPARCStation 5 被认为是 AT&T 贝尔实验室最先进的机器学习设备。实现数字识别的高精度是一个1990 年代 USPS 自动分拣信件的关键组件。深度网络,如 LeNet-5 LeCun等人,1995 年、具有不变性的支持向量机 Schölkopf等人,1996 年和切线距离分类器 Simard等人,1998 年都允许达到 1% 以下的错误率。

十多年来,MNIST 一直是比较机器学习算法的参考点虽然它作为基准数据集运行良好,但即使是按照当今标准的简单模型也能达到 95% 以上的分类准确率,这使得它不适合区分强模型和弱模型。更重要的是,数据集允许非常高的准确性,这在许多分类问题中通常是看不到的。这种算法的发展偏向于可以利用干净数据集的特定算法系列,例如活动集方法和边界搜索活动集算法。今天,MNIST 更像是一种健全性检查,而不是基准。ImageNet ( Deng et al. , 2009 )提出了一个更相关的挑战。不幸的是,对于本书中的许多示例和插图来说,ImageNet 太大了,因为训练这些示例需要很长时间才能使示例具有交互性。作为替代,我们将在接下来的部分中重点讨论定性相似但规模小得多的 Fashion-MNIST 数据集Xiao等人,2017 年,该数据集于 2017 年发布。它包含 10 类服装的图像 28×28像素分辨率。

%matplotlib inline
import time
import torch
import torchvision
from torchvision import transforms
from d2l import torch as d2l

d2l.use_svg_display()
%matplotlib inline
import time
from mxnet import gluon, npx
from mxnet.gluon.data.vision import transforms
from d2l import mxnet as d2l

npx.set_np()

d2l.use_svg_display()
%matplotlib inline
import time
import jax
import numpy as np
import tensorflow as tf
import tensorflow_datasets as tfds
from jax import numpy as jnp
from d2l import jax as d2l

d2l.use_svg_display()
No GPU/TPU found, falling back to CPU. (Set TF_CPP_MIN_LOG_LEVEL=0 and rerun for more info.)
%matplotlib inline
import time
import tensorflow as tf
from d2l import tensorflow as d2l

d2l.use_svg_display()

4.2.1. 加载数据集

由于它是一个经常使用的数据集,所有主要框架都提供了它的预处理版本。我们可以使用内置的框架实用程序将 Fashion-MNIST 数据集下载并读取到内存中。

class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = torchvision.datasets.FashionMNIST(
      root=self.root, train=True, transform=trans, download=True)
    self.val = torchvision.datasets.FashionMNIST(
      root=self.root, train=False, transform=trans, download=True)
class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    trans = transforms.Compose([transforms.Resize(resize),
                  transforms.ToTensor()])
    self.train = gluon.data.vision.FashionMNIST(
      train=True).transform_first(trans)
    self.val = gluon.data.vision.FashionMNIST(
      train=False).transform_first(trans)
class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()
class FashionMNIST(d2l.DataModule): #@save
  """The Fashion-MNIST dataset."""
  def __init__(self, batch_size=64, resize=(28, 28)):
    super().__init__()
    self.save_hyperparameters()
    self.train, self.val = tf.keras.datasets.fashion_mnist.load_data()

Fashion-MNIST 包含来自 10 个类别的图像,每个类别在训练数据集中由 6,000 个图像表示,在测试数据集中由 1,000 个图像表示。测试 数据集用于评估模型性能(不得用于训练)。因此,训练集和测试集分别包含 60,000 和 10,000 张图像。

data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)
(60000, 10000)
data = FashionMNIST(resize=(32, 32))
len(data.train), len(data.val)
(60000, 10000)
data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])
(60000, 10000)
data = FashionMNIST(resize=(32, 32))
len(data.train[0]), len(data.val[0])
(60000, 10000)

图像是灰度和放大到32×32分辨率以上的像素。这类似于由(二进制)黑白图像组成的原始 MNIST 数据集。但请注意,大多数具有 3 个通道(红色、绿色、蓝色)的现代图像数据和超过 100 个通道的高光谱图像(HyMap 传感器有 126 个通道)。按照惯例,我们将图像存储为 c×h×w张量,其中c是颜色通道数,h是高度和w是宽度。

data.train[0][0].shape
torch.Size([1, 32, 32])
data.train[0][0].shape
(1, 32, 32)
data.train[0][0].shape
(28, 28)
data.train[0

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !