1. PIL Image

通常, pytorch处理数据集用的是PIL Image的库, 通过PIL Image来读取图像文件, 然后再转成tensor送给network, 那在送入network之前的这一段都是pytorch的数据前处理部分(data preprocess), 主要是以下几个步骤

打开图像图像, 产生PIL image格式数据

from PIL import Image

img = Image.open('image_path')

产生的PIL_image格式数据的取值范围是[0,255]
形状(shape)是[h, w, c]
像素顺序是RGB

经过toTensor()之后

from torchvision.transforms import ToTensor

tensor = ToTensor()(PIL_img)

# 或者

np_data = np.asarray(PIL_img)
tensor = ToTensor()(np_data)

ToTensor()接收PIL格式的数据, 或者是直接从PIL转来的np.ndarray格式数据, 只要保证进来的数据取值范围是[0, 255], 形状是[h, w, c], 像素顺序是RGB, 它就会帮你做下面的事情
取值范围[0, 255] / 255.0 => [0, 1.0], 数据格式从int8变成了float32
形状(shape)转为[c, h, w]
像素顺序依旧是RGB

DeblurGAN的数据预处理又多做了一步, 把[0, 1]数据范围调整到[-1, 1]

from torchvision.transforms import Normalize

tensor = Normalize((0.5, 0.5, 0.5),(0.5, 0.5, 0.5))(tensor)

(0.5,0.5,0.5)和(0.5,0.5,0.5)分别是三个通道的mean和std, ([0, 1] - mean) / std => [-1, 1]

前处理完成, 进入network
所以, 进入network的数据取值范围是[-1, 1]
形状(shape)是[c, h, w]
像素顺序是RGB

经过了Network的处理之后, 出来的还是一个三通道的图像, 取值范围依然是[-1, 1](在最后一步经过了clamp(-1,1)), 形状(shape)是[c, h, w], 像素顺序是RGB, 要得到可以看的图像, 那就要把前面的步骤反着再来一遍

从tensor获取numpy格式数据ndarray, 调整shape与PIL Image相同

import numpy as np

image_numpy = image_tensor[0].cpu().float().numpy()
image_numpy = np.transpose(image_numpy, (1, 2, 0))

transpose(image_numpy, (1, 2, 0))做的事情就是调整shape, 将形状从[h, w, c]调整到[c, h, w]

调整数据范围从[-1, 1] => [0, 255.0]

image_numpy = (image_numpy+ 1) / 2.0 * 255.0

这个时候的数据格式还是float32

将数据格式float32 => int8

import numpy as np

image_numpy.astype(np.uint8)

转为PIL格式

from PIL import Image

img = Image.fromarray(image_numpy）

这样, 便得到了PIL格式的输出图像, 取值范围[0,255], 数据格式uint8
形状(shape)是[h, w, c]
像素顺序是RGB

其实, 从tensor->PIL, pytorch有更方便的做法, 就是ToPILImage

#PIL-> tensor -> PIL
from torchvision.transforms import ToPILImage

PIL_img = Image.open('test_pic.jpeg')
tensor_from_PIL = ToTensor()(PIL_img)
img = ToPILImage()(tensor_from_PIL)

#PIL -> np.ndarray -> tensor -> PIL
from torchvision.transforms import ToPILImage

PIL_img = Image.open('test_pic.jpeg')
np_img = np.asarray(PIL_img)
tensor_from_np = ToTensor()(np_img)
img = ToPILImage()(tensor_from_np)

ToPILImage()会自动帮你做下面的事情

将每个元素*255
float32 -> uint8
tensor -> ndarray
对ndarray对象做transpose(1, 2, 0)
利用Image.fromarray(ndarray)转为PIL格式

但是DeblurGAN的输出范围是[-1, 1], 如果要直接用ToPILImage(), 那在用之前要先把数据范围[-1, 1] => [0, 1]

2. Opencv

上文中, 我们一直在强调像素顺序是RGB, 其实在PIL->tensor->PIL的过程中, 像素顺序是没有变化的, 但是如果是用opencv来打开图像, 像素顺序就变成了BGR, 这点要注意

from PIL import Image
import cv2
import numpy as np

cv_img = cv2.imread('image_path')
cv2.imshow("opencv_img", cv_img)

PIL_img = Image.open('image_path')
np_img = np.asarray(PIL_img)
np_bgr_img = cv2.cvtColor(np_img, cv2.COLOR_RGB2BGR)

cv2.imshow("rgb_img", np_img)
cv2.imshow("bgr_img", np_bgr_img)

cv2.waitKey()

opencv读取出来的格式是ndarray, 取值范围[0,255], 数据格式uint8
形状(shape)是[h, w, c]
像素顺序是BGR

在上一段代码的实验中, 我们分别看opencv_img rgb_img bgr_img是以下这样的

opencv_img

rgb_img

bgr_img

也就是说, opencv认的图像格式是uint8, [0,255], 形状是[h, w, c], 像素顺序是BGR, 如果直接把RGB顺序的ndarray给opencv让它显示, 就会产生中间那张怪图

如果在用pytorch的时候, 图像是用opencv得到的, 那除了前面讲的那些步骤之外, 在一开始需要把cv2.imread('image_path')得到的ndarray用cv2.cvtColor(np_img, cv2.COLOR_BGR2RGB)先转成RGB顺序的格式

多说一句, 在用cv2.imread()的过程中, 出现报错

The function is not implemented. Rebuild the library with Windows, GTK+2.x or Carbon support. If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config, then re-run cmake or configure script.

我们的opencv是用conda install opencv直接装的, 要解决这个问题, 装一下opencv-python就可以了