TorchVision

• torchvision 包由流行的数据集、模型架构以及用于计算机视觉的通用图片转换工具组成

  TorchVision 包构成

  • 图像变换和增强
  • TVTensors
  • 模型和预训练的权重
  • 数据集
  • 工具
  • 操作
  • 图像和视频的编/解码
  • 用于模型检测的特征提取

    图像变换和增强

    • torchvision支持通用的计算机视觉变换；
    • 变换可用于数据增强、训练和推理；
    • 用于图片分类，探测，分割，视频分类等;
    • 大部分变换接收PIL图像和张量格式的输入；
    • 基于性能的考虑推荐以张量的型式输入；
    • 张量图像的期望形状为：（C,H,W）；
    • 大部分变换支持批量的张量输入；
    • 批量张量图像的形状为（N,C,H,W）,N为批量数目；
    • V2变换接收任意数值作为前导维度（...,C,H,W），可以批量处理图像或视频；
    • CPU和CUDA张量都给与支持；

      数据类型和期望的范围

      • 张量图像的值范围被张量dtype隐式的定义；
      • 具有float类型的张量图像的值范围期望为【0,1】；
      • 具有integer类型的张量图像的值范围期望为【0，max_dtype】；
      • 典型的torch.uint8类型的图像期望的值范围为【0,255】；

        V1 or V2？

        • 推荐使用V2；
        • V2更快，功能更为丰富；
        • V2的特点：
        • 可以变换图像、边界框、掩膜或者视频；
        • 对图像分类之外的任务提供支持：检测、分割、视频分类；
        • 支持更多的变换，比如：CutMix和MixUp；
        • 更快；
        • 支持任意的输入结构（字典、列表，元组等）；
        • 后续只对V2的进行功能更新；
        • 完全向后兼容V1；

          考虑性能

          • 推荐使用V2：torchvision.transforms.v2
          • 使用张量输入而不是PIL图像；
          • 使用torch.uint8数据类型，尤其是对于resizing操作；
          • resize操作推荐使用bilinear或者bicubic；

            典型的变换流水线

            from torchvision.transforms import v2
            transforms=v2.Compose([v2.ToImage(),#Convert to tensor,only needed if you had a PIL image
                                    v2.ToDtype(torch.uint8,scale=True),#optional,most input are already uint8 at this point
                                    v2.RandomResizeCrop(size=(224,224),antialias=True),#Or Resize(antialias=True)
                                    v2.ToDtype(torch.float32,scale=True),#Normalize expects float input
                                    v2.Normalize(mean=[0.485,0.456,0.406],std=[0.229,0.224,0.225])])

            • 在num_workers>0的torch.utils.data.DataLoader的模块作用下，上述代码将给出典型训练环境中的最好性能；
            • 变换对输入步长、内存格式敏感；
            • 一些变换对于通道在前的图像具有更快的性能；
            • 另一些对通道在后的图像具有更快的性能；
            • 变换对于tensor的操作，将保持输入的格式，但根据具体情况，这也不总是期望的；
            • 如果追求更快的性能，可能需要自己去尝试；
            • 单个变换使用torch.compile()可帮助分解内存格式变量；
            • 类似于Resize和RandomResizedCrop的变换，倾向于通道最后的输入，且torch.compile()没有任何优势；

              变换类、函数和内核

              • 像Resize这样的变化可以作为类来使用；
              • 同时对于torchvision.transforms.v2.functional中的resize()函数也可作为类来使用；
              • 以上两种情况类似于torch.nn包，同时定义了类和功能等效的函数在torch.nn.functional中；
              • 函数的功能支持PIL图像，纯张量格式的输入或者TVTensors；
              • resize（imgae_tensor）和resize（boxes）都是有效的；
              • 像RandomCrop这样的随机变换当每次被调用时会随机采样参数；
              • 但是他们的函数等效（crop（））不做任何随机采样，因此具有稍有不同参数；
              • 当使用函数API时，get_params（）变换类方法被用于执行参数采样；
              • torchvision.transforms.v2.functional命名空间也包含称为kernel的对象；
              • 这些是低级别的函数实现核心的功能用于特定的类型，比如：resize_bounding_boxes和resized_crop_mask;
              • 虽然没有记录，但他们是公开的；
              • 如果你要想获得torchscipt support用于bounding box 或mask类型的话，kernel是十分有用的；

                Torchscript 支持

                • 很多变换类和函数支持torchscript；
                • 对于组合变换，使用torch.nn.Sequential而不是Compose：

                  transforms=torch.nn.Sequential(CenterCrop(10),Normalize((0.485,0.456,0.406),(0.229,0.224,0.225)))
                  scripted_trtansforms=torch.jit.script(transforms)

                   
                   重庆建设  免费ppt成品下载网  台州知名的网站建设  7块钱建购物网站  青岛网站设计微动力  自己建网站怎么建