Question

我有一个以编程方式生成的图像，我希望将此图像作为纹理发送到计算着色器。我生成此图像的方法是将每个RGBA组件计算为UInt8值，并将它们组合成UInt32并将其存储在图像的缓冲区中。我使用以下代码执行此操作：

guard let cgContext = CGContext(data: nil,
                                width: width,
                                height: height,
                                bitsPerComponent: 8,
                                bytesPerRow: 0,
                                space: CGColorSpaceCreateDeviceRGB(),
                                bitmapInfo: RGBA32.bitmapInfo) else {
                                  print("Unable to create CGContext")
                                  return
}

guard let buffer = cgContext.data else {
  print("Unable to create textures")
  return
}
let pixelBuffer = buffer.bindMemory(to: RGBA32.self, capacity: width * height)
let heightFloat = Float(height)
let widthFloat = Float(width)
for i in 0 ..< height {
  let latitude = Float(i + 1) / heightFloat
  for j in 0 ..< width {
    let longitude = Float(j + 1) / widthFloat
    let x = UInt8(((sin(longitude * Float.pi * 2) * cos(latitude * Float.pi) + 1) / 2) * 255)
    let y = UInt8(((sin(longitude * Float.pi * 2) * sin(latitude * Float.pi) + 1) / 2) * 255)
    let z = UInt8(((cos(latitude * Float.pi) + 1) / 2) * 255)
    let offset = width * i + j
    pixelBuffer[offset] = RGBA32(red: x, green: y, blue: z, alpha: 255)
  }
}

let coordinateConversionImage = cgContext.makeImage()

其中RGBA32是一个小结构，可以进行移位并创建UInt32值。此图片很好，因为我可以将其转换为UIImage并将其保存到我的照片库。

当我尝试将此图像作为纹理发送到计算着色器时，会出现问题。以下是我的着色器代码：

kernel void updateEnvironmentMap(texture2d<uint, access::read> currentFrameTexture [[texture(0)]],
                                 texture2d<uint, access::read> coordinateConversionTexture [[texture(1)]],
                                 texture2d<uint, access::write> environmentMap [[texture(2)]]
                                 uint2 gid [[thread_position_in_grid]])
{
  const uint4 pixel = {255, 127, 63, 255};
  environmentMap.write(pixel, gid);
}

这段代码的问题是我的纹理类型是uint，它是32位，我想生成32位像素，就像我在CPU上一样，加上4 8比特值。但是，我似乎无法在Metal上执行此操作，因为没有byte类型，我可以将其附加在一起并组成uint32。所以，我的问题是，在Metal计算着色器上处理2D纹理和设置32位像素的正确方法是什么？

奖金问题：此外，我还看到了带有texture2d<float, access::read>的示例着色器代码作为输入纹理类型。我假设它代表一个介于0.0和1.0之间的值，但是这对于一个值为0到255的无符号整数有什么好处？

编辑：为了澄清，着色器的输出纹理environmentMap具有与输入纹理完全相同的属性（宽度，高度，像素格式等）。为什么我认为这是反直觉的是我们将uint4设置为像素，这意味着它由4个32位值组成，而每个像素应为32位。使用此当前代码，{255, 127, 63, 255}与{2550, 127, 63, 255}具有完全相同的结果，这意味着在写入输出纹理之前，值以某种方式被钳位在0-255之间。但这非常违反直觉。

Answer 1

比起你似乎熟悉的游戏更具魔力，所以我会试着澄清一下。

首先，按照设计，Metal中纹理的存储格式与读取/采样时获得的类型之间存在松散的联系。您可以使用.bgra8Unorm格式的纹理，当通过绑定为texture2d<float, access::sample>的纹理进行采样时，将为您提供float4，其组件的格式为RGBA。从那些压缩字节到具有混合组件的浮点向量的转换遵循金属着色语言规范中规定的记录良好的转换规则。

同样的情况是，当写入存储（例如）每个组件8位的纹理时，将钳制值以适合底层存储格式。纹理是否为norm类型还会影响这一点：如果格式包含norm，则值被解释为它们指定的值介于0和1之间。否则，您读取的值没有正常化。

示例：如果纹理为.bgra8Unorm且给定像素包含字节值[0, 64, 128, 255]，则在请求float组件的着色器中读取时，您将获得{{1当你对它进行采样时。相比之下，如果格式为[0.5, 0.25, 0, 1.0]，您将获得.rgba8Uint。纹理的存储格式对其内容在采样时的解释方式产生了主要影响。

我假设纹理的像素格式类似于[0, 64, 128, 255]。如果是这样的话，你可以通过这样编写内核来实现你想要的目标：

.rgba8Unorm

相比之下，如果您的纹理格式为kernel void updateEnvironmentMap(texture2d<float, access::read> currentFrameTexture [[texture(0)]], texture2d<float, access::read> coordinateConversionTexture [[texture(1)]], texture2d<float, access::write> environmentMap [[texture(2)]] uint2 gid [[thread_position_in_grid]]) { const float4 pixel(255, 127, 63, 255); environmentMap.write(pixel * (1 / 255.0), gid); }，那么您可以通过这样的方式获得相同的效果：

.rgba8Uint

我知道这是一个玩具示例，但我希望通过上述信息，您可以弄清楚如何正确存储和取样值以达到您想要的效果。

将具有UInt8组件类型的纹理传递给Metal计算着色器

1 个答案: