Question

我正在使用Android的MediaCodec API解码来自网络的H.264编码视频数据进行直播。

我知道我可以通过将解码器配置为在Surface模式下运行来直接将视频渲染到视图中。

然而，通过这样做，输出视频在某些平台上展示了色带。此问题的目标平台是在Intel Celeron N2930处理器上运行的Android-x86 6.0。

经过无休止的试验来解决这个问题，我决定在所谓的ByteBuffer模式中使用解码器。在这种模式下，我在ByteBuffers中接收解码的视频帧，它存储帧的颜色值。像素。

我上面提到的目标平台的输出视频帧在YUV420p中。要在视图上显示视频帧，我必须先将其转换为位图。在创建位图之前，我应该首先将帧颜色格式转换为ARGB8888。

最初我在Java中进行了这种转换，但是这个过程太慢而不能用于实时流式传输，大约300毫秒。然后我使用本机C代码进行转换。管理将时间减少到大约一半，但在1920x1080视频上至少20 fps仍然太慢。

JNIEXPORT jintArray JNICALL
Java_my_package_name_class_convertYUV420PToARGB8888_1Native2(
        JNIEnv *env, jclass type, jbyteArray data_, jint width, jint height) {
    jbyte *data = (*env)->GetByteArrayElements(env, data_, NULL);
    if (!data) {
        __android_log_print(ANDROID_LOG_ERROR, TAG,
        return NULL;
    }

    const jint frameSize = width * height;
    const jint offset_u = frameSize;
    const jint offset_v = frameSize + frameSize / 4;

    jint *pixels = malloc(sizeof(jint) * frameSize);
    jint u, v, y1, y2, y3, y4;

    // i percorre os Y and the final pixels
    // k percorre os pixles U e V
    jint i;
    jint k;
    for (i = 0, k = 0; i < frameSize; i += 2, k += 1) {
        // process 2*2 pixels in one iteration
        y1 = data[i] & 0xff;
        y2 = data[i + 1] & 0xff;
        y3 = data[offset + i] & 0xff;
        y4 = data[width + i + 1] & 0xff;

        u = data[offset_u + k] & 0xff;
        v = data[offset_v + k] & 0xff;
        u = u - 128;
        v = v - 128;

        pixels[i] = convertYUVtoRGB(y1, u, v);
        pixels[i + 1] = convertYUVtoRGB(y2, u, v);
        pixels[width + i] = convertYUVtoRGB(y3, u, v);
        pixels[width + i + 1] = convertYUVtoRGB(y4, u, v);

        if (i != 0 && (i + 2) % width == 0) {
            i += width;
        }
    }

    jintArray result = (*env)->NewIntArray(env, frameSize);
    if (!result) {
        return NULL;
    }

    (*env)->SetIntArrayRegion(env, /* env */
                              result, /* array */
                              0, /* start */
                              frameSize, /* len */
                              pixels /* buf */
    );

    // free resources
    free(pixels);
    (*env)->ReleaseByteArrayElements(env,
                                     data_, /* array */
                                     data, /* elems */
                                     JNI_ABORT /* mode */
    );

    return result;
}

static jint convertYUVtoRGB(jint y, jint u, jint v) {
    jint r, g, b;

    r = y + (int) 1.402f * v;
    g = y - (int) (0.344f * u + 0.714f * v);
    b = y + (int) 1.772f * u;

    r = r > 255 ? 255 : r < 0 ? 0 : r;
    g = g > 255 ? 255 : g < 0 ? 0 : g;
    b = b > 255 ? 255 : b < 0 ? 0 : b;

    return 0xff000000 | (r << 16) | (g << 8) | b;
}

这个函数，我从SO中的某处获得，在一次迭代中以2x2像素的块执行。

如何加快这个过程？任何图书馆？其他方法？

提前谢谢。

Answer 1

通过使用ffmpeg中的libswscale库来管理解决此问题。

Android Fast YUV420P到ARGB8888转换

1 个答案: