Question

我正在解码从android上的wifi cam收到的原始h264。

使用套接字获取原始数据包并将接收的数据解析为NAL单元。

我也有SPS和PPS单位（在MediaFormat中设置为csd-0和csd-1）。

从我在线阅读的所有帖子和信息中，如果我正在为解码器提供正确的数据，我仍然无法获得。

This is an example of the resulting video when decoding除了底部看起来还不错。

我还注意到一些奇怪的事情，当我移动相机时，饲料似乎运行几乎完全平滑（底部没有垃圾），一旦我将其设置下来，junky视频返回（我会认为这将是其他方式...）

我正在将h264数据解析为以AUD开头的块，每个块以AUD开头，并在另一个块开始时结束。

示例：

[0, 0, 0, 1, 9, 48, 0, 0, 0, 1, 6, 1, 9, 0, 12, 8, 36, 104, 0, 0, 3, 0, 1, -128, 0, 0, 0, 1, 33, -32, 96, 97, 92, -97, 71, 89, -31, 127, -120, 11, 23, ..., 0, 0, 1, -64, ... , -59, 2, -32, 62, -111, -64, 0, 0, 1, -32, 0, 0, -124, -128, 5, 33, 0, 1, -60, -31]

[0, 0, 0, 1, 9, 48, 0, 0, 0, 1, 6, 1, 9, 0, 14, 8, 36, 104, 0, 0, 3, 0, 1, -128, 0, 0, 0, 1, 33, -32, 112, 113, 92, -97, 72, 24, 96, 80, 2, 88, 70, ..., 98, -75, 27, 0, 0, 1, -64, 1, 82, ... , 119, 2, -32, 62, -111, -64, 0, 0, 1, -32, 0, 0, -124, -128, 5, 33, 0, 1, -31, 1]

每隔几帧我就会得到SPS和PPS的大块

0, 0, 0, 1, 9, 16, 0, 0, 0, 1, 39, SPS, 0, 0, 0, 1, 40, PPS, 0, 0, 0, 1, 6, 0, 13, -128, -89, 89, -128, 8, 117, 0, -89, 89, -128, 8, 117, 64, 1, 9, 0, 16, 8, 36, 104, 0, 0, 3, 0, 1, 6, 1, -60, -128, 0, 0, 0, 1, 37, -72, 1, 0, 1, -1, -16, 13, ... , 108, 60, -83, 101, 0, 0, 1, -32, 0, 0, -124, -128, 5, 33, 0, 3, 25, 65

据我了解，每个解析的“块”（以AUD开头）都是一个访问单元，这就是我放入缓冲区并提供给解码器的内容。

我是否向解码器输入了正确的输入？

我怎么能摆脱底部的垃圾视频？

什么可能导致这个垃圾？

我也尝试修剪每个块的部分，比如修剪开始 - [0, 0, 0, 1, 9, 48, 0, 0, 0, 1, 6, 1, 9, 0, 12, 8, 36, 104, 0, 0, 3, 0, 1, -128] 并且仅从0 ,0 ,0 ,1, 33部分传递，但这并没有太大的区别。

Answer 1

“junky part”看起来像编码器填充部分。在内部，所有h264视频的编码尺寸均为16的倍数，但分别标出应显示的精确尺寸。

如果您使用SurfaceTexture作为输出，或者手动解释YUV缓冲区，则不会描述如何在屏幕上显示解码数据。

如果手动解释缓冲区，则需要应用裁剪字段，如下所述：https://developer.android.com/reference/android/media/MediaCodec#data-types

关键部分是：

视频帧的大小（旋转前）可以这样计算：

MediaFormat format = decoder.getOutputFormat(…);
int width = format.getInteger(MediaFormat.KEY_WIDTH);
if (format.containsKey("crop-left") && format.containsKey("crop-right")) {
    width = format.getInteger("crop-right") + 1 - format.getInteger("crop-left");
}
int height = format.getInteger(MediaFormat.KEY_HEIGHT);
if (format.containsKey("crop-top") && format.containsKey("crop-bottom")) {
    height = format.getInteger("crop-bottom") + 1 - format.getInteger("crop-top");
}

Answer 2

如果您通过RTP / UDP连接接收流，我的经验表明，某些数据包将通过Wifi丢失，并可能导致一些失真。如果您尝试使用RTP over TCP（交错格式），那么您应该拥有一个非常可靠的流，不会丢失数据包。这可以显示问题是否与您的解析或丢包问题有关。

使用MediaCodec解码h264

2 个答案: