如何使用NumPy将sRGB转换为NV12格式？

Question

NV12 格式定义了具有420个子采样的YUV颜色空间的特定颜色通道顺序。
NV12格式主要用于视频编码/解码管道。

libyuv description of NV12：

  

NV12是双平面格式，具有完整的Y平面，后跟具有编织的U和V值的单个色度平面。 NV21相同，但具有编织的V和U值。 NV12中的12表示每个像素12位。 NV12具有一半宽度和一半高度的色度通道，因此是420个子采样。

在NV12的上下文中，YUV格式主要称为YCbCr颜色空间。
NV12元素是每个元素8位（uint8类型）。
在本文的上下文中，YUV元素处于“有限范围”标准中：Y范围为[16，235]，U，V范围为[16，240]。

sRGB （标准的红色，绿色，蓝色）是PC系统使用的标准色彩空间。
在帖子的上下文中，sRGB颜色分量的范围是[0，255]（uint8类型）。
RGB元素的排序与帖子无关（假设有3个颜色平面）。

当前至少有2种可能的NVC YCbCr格式：

• BT.601-应用SDTV。
• BT.709-应用高清电视。

NV12元素订购示例：
YYYYYY
YYYYYY
UVUVUV

RGB到NV12的转换可以通过以下阶段来描述：

• 色彩空间转换-从sRGB转换为YUV色彩空间。
• 色度下采样-在每个轴上将U，V通道缩小x2倍（从YUV444转换为YUV420）。
• 色度元素交织-将U，V元素排列为U，V，U，V ...

下图说明了应用6x6像素图像大小的转换阶段：

如何使用NumPy将sRGB转换为NV12？

注意：
问题是说明转换过程的Python实现（该帖子不适用于现有功能，如OpenCV实现）。

Answer 1

使用NumPy将sRGB转换为NV12格式

该帖子的目的是演示转换过程。
下面的Python实现使用NumPy，并故意避免使用OpenCV。

RGB到NV12的转换阶段：

• 色彩空间转换-从sRGB转换为YUV色彩空间：
  使用sRGB到YCbCr的转换公式。
  将每个RGB三元组乘以3x3转换矩阵，并添加3个偏移量的向量。
  该帖子同时显示了BT.709和BT.601转换（唯一的区别是系数矩阵）。
• 色度下采样-在每个轴上将U，V通道缩小x2倍（从YUV444转换为YUV420）。
  该实现使用双线性插值在每个轴上将U，V大小调整为0.5。
  注意：双线性插值并不是最佳的下采样方法，但通常已经足够了。
  代码不使用cv2.resize，而是使用每2x2像素的平均值（结果等效于双线性插值）。
  注意：如果输入分辨率在两个维度上都不相同，则实现将失败。
• 色度元素交织-将U，V元素排列为U，V，U，V ...
  通过数组索引操作实现。

以下是将RGB转换为NV12标准的Python代码示例：

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.image as mpimg

do_use_bt709 = True; # True for BT.709, False for BT.601

RGB = mpimg.imread('rgb_input.png')*255.0     # Read RGB input image, multiply by 255 (set RGB range to [0, 255]).
R, G, B = RGB[:, :, 0], RGB[:, :, 1], RGB[:, :, 2]  # Split RGB to R, G and B numpy arrays.
rows, cols = R.shape

# I. Convert RGB to YUV (convert sRGB to YUV444)
#################################################
if do_use_bt709:
    # Convert sRGB to YUV, BT.709 standard
    # Conversion formula used: 8 bit sRGB to "limited range" 8 bit YUV (BT.709).
    Y =  0.18258588*R + 0.61423059*G + 0.06200706*B + 16.0
    U = -0.10064373*R - 0.33857195*G + 0.43921569*B + 128.0
    V =  0.43921569*R - 0.39894216*G - 0.04027352*B + 128.0
else:
    # Convert sRGB to YUV, BT.601 standard.
    # Conversion formula used: 8 bit sRGB to "limited range" 8 bit YUV (BT.601).
    Y =  0.25678824*R + 0.50412941*G + 0.09790588*B + 16.0
    U = -0.14822290*R - 0.29099279*G + 0.43921569*B + 128.0
    V =  0.43921569*R - 0.36778831*G - 0.07142737*B + 128.0


# II. U,V Downsampling (convert YUV444 to YUV420)
##################################################
# Shrink U and V channels by a factor of x2 in each axis (use bi-linear interpolation).
#shrunkU = cv2.resize(U, dsize=(cols//2, rows//2), interpolation=cv2.INTER_LINEAR)
#shrunkV = cv2.resize(V, dsize=(cols//2, rows//2), interpolation=cv2.INTER_LINEAR)

# Each element of shrunkU is the mean of 2x2 elements of U
# Result is equvalent to resize by a factor of 0.5 with bi-linear interpolation.
shrunkU = (U[0: :2, 0::2] + U[1: :2, 0: :2] + U[0: :2, 1: :2] + U[1: :2, 1: :2]) * 0.25
shrunkV = (V[0: :2, 0::2] + V[1: :2, 0: :2] + V[0: :2, 1: :2] + V[1: :2, 1: :2]) * 0.25


# III. U,V Interleaving
########################
# Size of UV plane is half the number of rows, and same number of columns as Y plane.
UV = np.zeros((rows//2, cols))  # Use // for integer division.

# Interleave shrunkU and shrunkV and build UV palne (each row of UV plane is u,v,u,u,v...)
UV[:, 0 : :2] = shrunkU
UV[:, 1 : :2] = shrunkV

# Place Y plane at the top, and UV plane at the bottom (number of rows NV12 matrix is rows*1.5)
NV12 = np.vstack((Y, UV))

# Round NV12, and cast to uint8 (use floor(x+0.5) instead of round to avoid "bankers rounding").
NV12 = np.floor(NV12 + 0.5).astype('uint8')


# Write NV12 array to binary file
NV12.tofile('nv12_output.raw')

# Display NV12 result (display as Grayscale image).
plt.figure()
plt.axis('off')
plt.imshow(NV12, cmap='gray', interpolation='nearest')
plt.show()

示例RGB输入图像：

NV12结果（显示为灰度图像）：