Question

我目前正在为Unity制作一个Android播放器插件。基本想法是，我将在Android上通过MediaPlayer播放视频，该视频提供了一个setSurface API，该API接收SurfaceTexture作为构造函数参数，并最终与OpenGL-ES纹理绑定。在大多数其他情况下，例如显示图像，我们可以仅以指针/ id的形式将此纹理发送到Unity，在其中调用Texture2D.CreateExternalTexture生成Texture2D对象并将其设置为UI {{1} }渲染图片。但是，在显示视频帧时，这有所不同，因为在Android上播放的视频需要GameObject类型的纹理，而Unity仅支持通用类型GL_TEXTURE_EXTERNAL_OES。

为解决该问题，我已经搜索了一段时间，并且知道应该采用一种称为“渲染到纹理” 的技术。更清楚地说，我应该生成2个纹理，一个用于Android中的GL_TEXTURE_2D和MediaPlayer，以接收视频帧，另一个用于Unity，其内部也应包含图片数据。第一个应为SurfaceTexture类型（简称为OES纹理），第二个应为GL_TEXTURE_EXTERNAL_OES类型（称为2D纹理）。这些生成的纹理在开始时都是空的。与GL_TEXTURE_2D绑定后，OES纹理将在视频播放过程中更新，然后我们可以使用MediaPlayer在2D纹理上绘制OES纹理的内容。

我已经编写了此过程的纯Android版本，当我最终在屏幕上绘制2D纹理时，它工作得很好。但是，当我将其发布为Unity Android插件并在Unity上运行相同的代码时，将不会显示任何图片。相反，它仅显示FrameBuffer 中的预设颜色，这意味着两件事：

OES纹理的转移过程-> glClearColor-> 2D纹理已完成，Unity确实收到了最终的2D纹理。因为FrameBuffer仅在将OES纹理的内容绘制到glClearColor时才被调用。
FrameBuffer之后，在绘制过程中发生了一些错误，因为我们看不到视频帧的图片。实际上，在绘制之后和解除与glClearColor的绑定之前，我还调用glReadPixels，它将从绑定的FrameBuffer中读取数据。并返回与我们在FrameBuffer中设置的颜色相同的单一颜色值。

为了简化我应该在此处提供的代码，我将通过glClearColor在2D纹理上绘制一个三角形。如果我们能弄清楚哪一部分不对，就可以轻松解决画视频帧的类似问题。

该函数将在Unity上调用：

FrameBuffer

2D纹理的初始化：

  public int displayTriangle() {
    Texture2D texture = new Texture2D(UnityPlayer.currentActivity);
    texture.init();

    Triangle triangle = new Triangle(UnityPlayer.currentActivity);
    triangle.init();

    TextureTransfer textureTransfer = new TextureTransfer();
    textureTransfer.tryToCreateFBO();

    mTextureWidth = 960;
    mTextureHeight = 960;
    textureTransfer.tryToInitTempTexture2D(texture.getTextureID(), mTextureWidth, mTextureHeight);

    textureTransfer.fboStart();
    triangle.draw();
    textureTransfer.fboEnd();

    // Unity needs a native texture id to create its own Texture2D object
    return texture.getTextureID();
  }

protected void initTexture() { int[] idContainer = new int[1]; GLES30.glGenTextures(1, idContainer, 0); textureId = idContainer[0]; Log.i(TAG, "texture2D generated: " + textureId); // texture.getTextureID() will return this textureId bindTexture(); GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_MIN_FILTER, GLES30.GL_NEAREST); GLES30.glTexParameterf(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_MAG_FILTER, GLES30.GL_LINEAR); GLES30.glTexParameteri(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_WRAP_S, GLES30.GL_CLAMP_TO_EDGE); GLES30.glTexParameteri(GLES30.GL_TEXTURE_2D, GLES30.GL_TEXTURE_WRAP_T, GLES30.GL_CLAMP_TO_EDGE); unbindTexture(); } public void bindTexture() { GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, textureId); } public void unbindTexture() { GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, 0); } of draw()：

Triangle

public void draw() { float[] vertexData = new float[] { 0.0f, 0.0f, 0.0f, 1.0f, -1.0f, 0.0f, 1.0f, 1.0f, 0.0f }; vertexBuffer = ByteBuffer.allocateDirect(vertexData.length * 4) .order(ByteOrder.nativeOrder()) .asFloatBuffer() .put(vertexData); vertexBuffer.position(0); GLES30.glClearColor(0.0f, 0.0f, 0.9f, 1.0f); GLES30.glClear(GLES30.GL_DEPTH_BUFFER_BIT | GLES30.GL_COLOR_BUFFER_BIT); GLES30.glUseProgram(mProgramId); vertexBuffer.position(0); GLES30.glEnableVertexAttribArray(aPosHandle); GLES30.glVertexAttribPointer( aPosHandle, 3, GLES30.GL_FLOAT, false, 12, vertexBuffer); GLES30.glDrawArrays(GLES30.GL_TRIANGLE_STRIP, 0, 3); }的顶点着色器：

Triangle

attribute vec4 aPosition; void main() { gl_Position = aPosition; }的片段着色器：

Triangle

precision mediump float; void main() { gl_FragColor = vec4(0.9, 0.0, 0.0, 1.0); }的键控代码：

TextureTransfer

最后是一些Unity端的代码：

  public void tryToInitTempTexture2D(int texture2DId, int textureWidth, int textureHeight) {
    if (mTexture2DId != -1) {
      return;
    }

    mTexture2DId = texture2DId;
    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, mTexture2DId);
    Log.i(TAG, "glBindTexture " + mTexture2DId + " to init for FBO");

    // make 2D texture empty
    GLES30.glTexImage2D(GLES30.GL_TEXTURE_2D, 0, GLES30.GL_RGBA, textureWidth, textureHeight, 0,
        GLES30.GL_RGBA, GLES30.GL_UNSIGNED_BYTE, null);
    Log.i(TAG, "glTexImage2D, textureWidth: " + textureWidth + ", textureHeight: " + textureHeight);

    GLES30.glBindTexture(GLES30.GL_TEXTURE_2D, 0);

    fboStart();
    GLES30.glFramebufferTexture2D(GLES30.GL_FRAMEBUFFER, GLES30.GL_COLOR_ATTACHMENT0,
        GLES30.GL_TEXTURE_2D, mTexture2DId, 0);
    Log.i(TAG, "glFramebufferTexture2D");
    int fboStatus = GLES30.glCheckFramebufferStatus(GLES30.GL_FRAMEBUFFER);
    Log.i(TAG, "fbo status: " + fboStatus);
    if (fboStatus != GLES30.GL_FRAMEBUFFER_COMPLETE) {
      throw new RuntimeException("framebuffer " + mFBOId + " incomplete!");
    }
    fboEnd();
  }

  public void fboStart() {
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, mFBOId);
  }

  public void fboEnd() {
    GLES30.glBindFramebuffer(GLES30.GL_FRAMEBUFFER, 0);
  }

那么，上面的代码将不会显示预期的三角形，而只会显示蓝色背景。我几乎在每个OpenGL函数调用之后都添加了int textureId = plugin.Call<int>("displayTriangle"); Debug.Log("native textureId: " + textureId); Texture2D triangleTexture = Texture2D.CreateExternalTexture( 960, 960, TextureFormat.RGBA32, false, true, (IntPtr) textureId); triangleTexture.UpdateExternalTexture(triangleTexture.GetNativeTexturePtr()); rawImage.texture = triangleTexture; rawImage.color = Color.white;，而没有引发任何错误。

我的Unity版本是2017.2.1。对于Android构建，我关闭了实验性多线程渲染，其他设置均为默认设置（不进行纹理压缩，不使用开发构建，依此类推）。我的应用程序的最低API级别为5.0棒棒糖，目标API级别为9.0 Pie。

我真的需要一些帮助，谢谢！

Answer 1

现在我找到了答案：如果您想在插件中执行任何绘图工作，则应在本机层完成。因此，如果您想制作一个Android插件，则应在JNI而不是Java端调用OpenGL-ES API。原因是Unity仅允许在其渲染线程上绘制图形。如果像问题描述中那样我像在Java端那样简单地调用OpenGL-ES API，它们实际上将在Unity主线程上运行，而不是在渲染线程上运行。 Unity提供了一种方法GL.IssuePluginEvent，以在渲染线程上调用您自己的函数，但是它需要本机编码，因为该函数需要函数指针作为其回调。这是一个使用它的简单示例：

在JNI端：

// you can copy these headers from https://github.com/googlevr/gvr-unity-sdk/tree/master/native_libs/video_plugin/src/main/jni/Unity
#include "IUnityInterface.h"
#include "UnityGraphics.h"

static void on_render_event(int event_type) {
  // do all of your jobs related to rendering, including initializing the context,
  // linking shaders, creating program, finding handles, drawing and so on
}

// UnityRenderingEvent is an alias of void(*)(int) defined in UnityGraphics.h
UnityRenderingEvent get_render_event_function() {
  UnityRenderingEvent ptr = on_render_event;
  return ptr;
}

// notice you should return a long value to Java side
extern "C" JNIEXPORT jlong JNICALL
Java_com_abc_xyz_YourPluginClass_getNativeRenderFunctionPointer(JNIEnv *env, jobject instance) {
  UnityRenderingEvent ptr = get_render_event_function();
  return (long) ptr;
}

在Android Java端：

class YourPluginClass {
  ...
  public native long getNativeRenderFunctionPointer();
  ...
}

在Unity方面：

private void IssuePluginEvent(int pluginEventType) {
  long nativeRenderFuncPtr = Call_getNativeRenderFunctionPointer(); // call through plugin class
  IntPtr ptr = (IntPtr) nativeRenderFuncPtr;
  GL.IssuePluginEvent(ptr, pluginEventType); // pluginEventType is related to native function parameter event_type
}

void Start() {
  IssuePluginEvent(1); // let's assume 1 stands for initializing everything
  // get your texture2D id from plugin, create Texture2D object from it,
  // attach that to a GameObject, and start playing for the first time
}

void Update() {
  // call SurfaceTexture.updateTexImage in plugin
  IssuePluginEvent(2); // let's assume 2 stands for transferring TEXTURE_EXTERNAL_OES to TEXTURE_2D through FrameBuffer
  // call Texture2D.UpdateExternalTexture to update GameObject's appearance
}

您仍然需要传输纹理，并且纹理的所有操作都应在JNI层进行。但是不用担心，它们几乎与我在问题描述中所做的相同，只是语言与Java不同，并且有很多关于此过程的材料，因此您可以肯定地做到这一点。

最后，让我解决再次解决此问题的关键：在本机层做本机工作，不要沉迷于纯Java ... 我非常惊讶没有博客/答案/维基，告诉我们只需用C ++编写代码。尽管有一些开源实现，例如Google的gvr-unity-sdk，它们提供了完整的参考，但是您仍然会怀疑，也许无需编写任何C ++代码就可以完成任务。现在我们知道我们做不到。但是，老实说，我认为Unity有能力使这一进步变得更加容易。

在Android上与Unity结合使用以通过帧缓冲区传输纹理的OpenGL绘图无法正常工作

1 个答案: