Question

我们有一个适用于Android的应用程序，可与网络摄像机配合使用。我们的主要问题是视频显示有伪像。屏幕的大部分为绿色方块。当您开始将手移到相机前面时，这些正方形消失了，但视频中仍然有伪像。我们检查了缓冲区长度，数据包大小和许多参数……。现在我们不知道出了什么问题。

我将描述整个过程：摄像机可以使用SIP协议。根据SIP，我们收集SDP数据并建立连接。我们发现视频在RTP数据包中转换为H264基本配置文件。我们收到UDP数据包。提取RTP。查看RTP的标题。我们收到了类型7和8的数据包。这两个数据包用于配置MediaCodec。

private void initMedia(ByteBuffer header_sps, ByteBuffer header_pps) {
    try {
        mMediaCodec = MediaCodec.createDecoderByType(MediaFormat.MIMETYPE_VIDEO_AVC);
        //mMediaCodec = MediaCodec.createByCodecName("OMX.google.h264.decoder");
        MediaFormat mediaFormat = MediaFormat.createVideoFormat(MediaFormat.MIMETYPE_VIDEO_AVC, 640, 480);
        mediaFormat.setByteBuffer("csd-0", header_sps);
        mediaFormat.setByteBuffer("csd-1", header_pps);
        mMediaCodec.configure(mediaFormat, videoView.getHolder().getSurface(), null, 0);
        mMediaCodec.start();
        mConfigured = true;
        startMs = System.currentTimeMillis();
        show.start();
    } catch (IOException e) {
        e.printStackTrace();
    }
}

我们还收到数据包28，这意味着它是一部分，我们应该对其进行重建。

public ByteBuffer writeRawH264toByteBuffer() throws IOException, NotImplementedException {
ByteBuffer res = null;
switch (nal.getType()){
    case NAL.FU_A:    //FU-A, 5.8.  Fragmentation Units (FUs)/rfc6184
        FUHeader fu = getFUHeader();

        if(fu.isFirst()){
            //if(debug) System.out.println("first");
            res = ByteBuffer.allocate(5+getH264PayloadLength());
            res.put(H264RTP.NON_IDR_PICTURE);
            res.put(getReconstructedNal());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        } else {
            //if(debug) System.out.println("end");
            res = ByteBuffer.allocate(getH264PayloadLength());
            res.put(rtp.getBuffer(), getH264PayloadStart(), getH264PayloadLength());
        }
        break;
    case NAL.SPS: //Sequence parameter set
    case NAL.PPS: //Picture parameter set
    case NAL.NAL_UNIT:
        res = ByteBuffer.allocate(4+getH264PayloadLength());
        //System.out.println("sps or pps write");
        res.put(H264RTP.NON_IDR_PICTURE);
        res.put(rtp.getBuffer(), rtp.getPayloadStart(), rtp.getPayloadLength());
        break;
    default:
        throw new NotImplementedException("NAL type " + getNAL().getType() + " not implemented");
}
return res;

}

NON_IDR_PICTURE是字节数组{0x00、0x00、0x00、0x01}

我们使用VideoView在Android设备上翻译视频这一个写数据包：

if (mConfigured) {
int index = mMediaCodec.dequeueInputBuffer(mTimeoutUsDegueueInput);
if (index >= 0) {
    ByteBuffer buffer = mMediaCodec.getInputBuffer(index);
    //buffer.clear();
    int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);
    mMediaCodec.queueInputBuffer(index, 0, capacity, wrapper.getSequence(), 0);
}

}

这是续订VideoView（在单独的线程中）

while(true)
if (mConfigured) { 
    MediaCodec.BufferInfo info = new MediaCodec.BufferInfo();
    int index = mMediaCodec.dequeueOutputBuffer(info, mTimeoutUsDegueueOutput);
    if (index >= 0) { 
        mMediaCodec.releaseOutputBuffer(index, info.size > 0);
        if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) == MediaCodec.BUFFER_FLAG_END_OF_STREAM) {
            break;
        }
    }
} else {
    try {
        Thread.sleep(10);
    } catch (InterruptedException ignore) {
    }
}

现在我不知道为什么视频因伪像而崩溃，并且要调试什么。

视频示例： screen of video

Answer 1

问题在于FU_A重建。问题出在这个字符串

int capacity = wrapper.getByPayload().writeRawH264toByteBuffer(buffer);

只有在将数据包FU_A放入解码器后，才能将其重构为完整的数据包

h264原始数据流和Android中的呈现

1 个答案: