Question

我需要一种快速的方法将每个第二个字节复制到一个新的malloc内存区域。我有一个RGB数据的原始图像和每通道16位（48位），并希望创建一个每通道8位（24位）的RGB图像。

是否有比按字节复制更快的方法？我对SSE2了解不多，但我想SSE / SSE2是可能的。

Answer 1

您的RGB数据已打包，因此我们实际上不必关心像素边界。问题是只是打包一个数组的每个其他字节。（至少在图像的每一行内;如果使用16或32B的行间距，则填充可能不是整数像素。）

这可以使用SSE2，AVX或AVX2 shuffle有效地完成。（还有AVX512BW，甚至可能更多AVX512VBMI，但第一个AVX512VBMI CPU可能不会非常高效vpermt2b, a 2-input lane-crossing byte shuffle.）

您可以使用SSSE3 pshufb来获取所需的字节，但它只是一个1输入的shuffle，可以提供8个字节的输出。一次存储8个字节比一次存储16个字节需要更多的存储指令。（自Haswell以来，您还会遇到Intel CPU上的随机吞吐量瓶颈问题，Haswell只有一个shuffle端口，因此每个时钟有一个随机播放吞吐量）。（你也可以考虑2x pshufb + por来支持16B商店，这对Ryzen来说可能是好的。使用2个不同的shuffle控制向量，一个将结果放在低64b，一个用于将结果置于高64b。请参阅Convert 8 16 bit SSE register to 8bit data）。

相反，使用_mm_packus_epi16（packuswb）可能是一场胜利。但是由于它不会丢弃而不是丢弃你不想要的字节，所以你必须用你希望保存在每个16位元素的低字节中的数据来输入它。

在您的情况下，这可能是每个RGB16组件的高字节，丢弃每个颜色组件的8个最低有效位。即_mm_srli_epi16(v, 8)。 要将每个16位元素中的高字节归零，请使用_mm_and_si128(v, _mm_set1_epi16(0x00ff))代替。（在这种情况下，不要忘记使用未对齐的负载来替换其中一个移位的所有内容;这是一个简单的情况，您应该只使用两个AND来提供PACKUS。）

这或多或少是gcc和clang如何在-O3自动矢量化它。除了他们都搞砸并浪费重要的指示（https://gcc.gnu.org/bugzilla/show_bug.cgi?id=82356，https://bugs.llvm.org/show_bug.cgi?id=34773）。尽管如此，让他们使用SSE2（x86-64的基线）或者使用NEON for ARM或其他任何东西进行自动矢量化是一种很好的安全方式，可以获得一些性能而不会在手动矢量化时引入错误。在编译器错误之外，它们生成的任何内容都将正确实现此代码的C语义，该代码适用于任何大小和对齐：

// gcc and clang both auto-vectorize this sub-optimally with SSE2.
// clang is *really* sub-optimal with AVX2, gcc no worse
void pack_high8_baseline(uint8_t *__restrict__ dst, const uint16_t *__restrict__ src, size_t bytes) {
  uint8_t *end_dst = dst + bytes;
  do{
     *dst++ = *src++ >> 8;
  } while(dst < end_dst);
}

请参阅此版本及更高版本的代码+ asm on Godbolt 。

// Compilers auto-vectorize sort of like this, but with different
// silly missed optimizations.
// This is a sort of reasonable SSE2 baseline with no manual unrolling.
void pack_high8(uint8_t *restrict dst, const uint16_t *restrict src, size_t bytes) {
  // TODO: handle non-multiple-of-16 sizes
  uint8_t *end_dst = dst + bytes;
  do{
     __m128i v0 = _mm_loadu_si128((__m128i*)src);
     __m128i v1 = _mm_loadu_si128(((__m128i*)src)+1);
     v0 = _mm_srli_epi16(v0, 8);
     v1 = _mm_srli_epi16(v1, 8);
     __m128i pack = _mm_packus_epi16(v0, v1);
     _mm_storeu_si128((__m128i*)dst, pack);
     dst += 16;
     src += 16;  // 32 bytes, unsigned short
  } while(dst < end_dst);
}

但在许多微架构中，矢量移位吞吐量限制为每时钟1个（英特尔在Skylake，AMD Bulldozer / Ryzen之前）。此外，在AVX512之前没有加载+移位asm指令，因此很难通过管道获得所有这些操作。（即我们很容易在前端出现瓶颈。）

我们可以从一个偏移一个字节的地址加载，而不是移位，这样我们想要的字节就在正确的位置。并屏蔽我们想要的字节具有良好的吞吐量，特别是对于AVX，编译器可以将负载+折叠成一条指令。如果输入是32字节对齐的，并且我们只对奇数向量执行此偏移加载技巧，则我们的加载将永远不会跨越缓存行边界。使用循环展开，这可能是许多CPU上SSE2或AVX（没有AVX2）的最佳选择。

// take both args as uint8_t* so we can offset by 1 byte to replace a shift with an AND
// if src is 32B-aligned, we never have cache-line splits
void pack_high8_alignhack(uint8_t *restrict dst, const uint8_t *restrict src, size_t bytes) {
  uint8_t *end_dst = dst + bytes;
  do{
     __m128i v0 = _mm_loadu_si128((__m128i*)src);
     __m128i v1_offset = _mm_loadu_si128(1+(__m128i*)(src-1));
     v0 = _mm_srli_epi16(v0, 8);
     __m128i v1 = _mm_and_si128(v1_offset, _mm_set1_epi16(0x00FF));
     __m128i pack = _mm_packus_epi16(v0, v1);
     _mm_store_si128((__m128i*)dst, pack);
     dst += 16;
     src += 32;  // 32 bytes
  } while(dst < end_dst);
}

如果没有AVX，内部循环每16B结果矢量需要6条指令（6个uop）。（对于AVX，它只有5，因为负载折叠到和）。由于前端的完全瓶颈，循环展开有很大帮助。 gcc -O3 -funroll-loops对于此手动矢量化版本看起来非常不错，尤其是使用gcc -O3 -funroll-loops -march=sandybridge来启用AVX。

使用AVX，使用v0同时执行v1和and可能是值得的，以减少前端瓶颈，但代价是缓存行分割。（偶尔会有页面拆分）。但也许不是，取决于uarch，以及你的数据是否已经未对齐。（对此进行分支可能是值得的，因为如果L1D中的数据很热，您需要最大化缓存带宽。）

对于AVX2，具有256b负载的256b版本应该在Haswell / Skylake上运行良好。在src 64B对齐的情况下，offset-load仍然不会缓存行拆分。（它将始终加载缓存行的字节[62:31]，v0加载将始终加载字节[31:0]）。但是在128b通道内打包工作，所以在打包之后你需要随机播放（使用vpermq）将64位块放入正确的顺序。看看gcc如何使用vpackuswb ymm7, ymm5, ymm6 / vpermq ymm8, ymm7, 0xD8自动矢量化标量基线版本。

使用AVX512F时，此技巧会停止工作，因为64B负载必须对齐以保持在单个64B高速缓存行内。但是对于AVX512，可以使用不同的shuffle，并且ALU uop吞吐量更加珍贵（在Skylake-AVX512上，其中port1关闭而512b uops在飞行中）。所以v =加载+转移 - ＆gt; __m256i packed = _mm512_cvtepi16_epi8(v)可能效果很好，即使它只有256b商店。

正确的选择可能取决于你的src和dst通常是64B对齐的。 KNL没有AVX512BW，所以这可能只适用于Skylake-AVX512。

将每秒字节快速复制到新存储区

1 个答案: