Android插件中的SurfaceTexture在Unity中不起作用

Question

我无法将纹理绑定到SurfaceTexture以便在Unity中显示。

更新4：基于更新1中的管道（表面->通过表面纹理的外部纹理-> fbo->纹理2d），我知道SurfaceTexture转换不正确其表面具有纹理。我可以通过pixelcopy从其表面正确地绘制图片，并且可以确认我的FBO到texture2d管道的绘制可以使用某些测试颜色。所以问题是，为什么SurfaceTexture不能将其表面转换为纹理？

我用Java生成了Texture，并将其指针传递回Unity：

public void initGLTexture()
{
    Log.d("Unity", "initGLTexture");
    int textures[] = new int[1];
    GLES20.glGenTextures(1, textures, 0);
    mTextureId = textures[0];

    GLES20.glBindTexture(GL_TEXTURE_EXTERNAL_OES, mTextureId);
    GLES20.glTexParameterf(GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MIN_FILTER, GLES20.GL_LINEAR);
    GLES20.glTexParameterf(GL_TEXTURE_EXTERNAL_OES, GLES20.GL_TEXTURE_MAG_FILTER, GLES20.GL_LINEAR);
    GLES20.glTexParameteri(GL_TEXTURE_EXTERNAL_OES, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
    GLES20.glTexParameteri(GL_TEXTURE_EXTERNAL_OES, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
}

我从id（在Java中）创建一个SurfaceTexture：

mSurfaceTexture = new SurfaceTexture(mTextureId);
mSurfaceTexture.setDefaultBufferSize(512, 512);

我使用第三方库GeckoView渲染到SurfaceTexture的Surface上。我从Unity的OnRenderObject()调用以下方法，以将所有GL渲染保持在同一线程上：

mSurfaceTexture.updateTexImage();

我知道上面的代码允许在表面上正确绘制。

我在Unity中调用以下内容来加载纹理：

_imageTexture2D = Texture2D.CreateExternalTexture(
        512,512,TextureFormat.RGBA32,false,true,(IntPtr) mTextureId);
_rawImage.texture = _imageTexture2D;

应用了纹理的RawImage为什么只显示看起来像精灵的东西，应该是网页？

更新1：因此，我一直在研究以下假设：使用Gecko绘制到Surface，并使用SurfaceTexture将此表面渲染为GL_TEXTURE_EXTERNAL_OES。由于无法在Unity上显示此图像（不知道为什么），因此我将该纹理绘制到帧缓冲区，并将帧缓冲区中的像素复制到GL_TEXTURE_2D。我正在texture_2d中获得一个网页（在带有imageview和glReadPixels的模拟器中）。但是，当我将工作导入Unity以测试到目前为止管道是否还可以时，我只是得到了黑屏。我可以通过PixelCopy API获取表面图像。

这是我的FBO概述代码-我的渲染代码来自grafika的texture2D program：

    // bind display buffer
    GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, mFrameBufferId);
    GlUtil.checkGlError("glbindframebuffer");

    // unbind external texture to make sure it's fresh
    GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
    GlUtil.checkGlError("glunbindexternaltex");

   // bind source texture (done in drawFrame as well )
    GLES20.glBindTexture(GL_TEXTURE_EXTERNAL_OES, mOffscreenTextureId);
    GlUtil.checkGlError("glBindFramebuffer");

    // draw to frame buffer
    GLES20.glClearColor(0.0f, 0.0f, 0.0f, 1.0f);    // again, only really need to
    GLES20.glClear(GLES20.GL_COLOR_BUFFER_BIT);     //  clear pixels outside rect

    mFullScreen.drawFrame(mOffscreenTextureId, mIdentityMatrix);

    // unbind source texture
    GLES20.glBindTexture(GLES20.GL_TEXTURE_2D,0);
    GlUtil.checkGlError("glBindTexture2d");

    GLES20.glBindTexture(GLES11Ext.GL_TEXTURE_EXTERNAL_OES, 0);
    GlUtil.checkGlError("glunbindexternaltex");

    // make sure we're still bound to fbo
    GLES20.glBindFramebuffer(GLES20.GL_FRAMEBUFFER, mFrameBufferId);
    GlUtil.checkGlError("glBindTexture2d");

    // copy pixels from frame buffer to display texture
     GLES20.glCopyTexImage2D(GLES20.GL_TEXTURE_2D,0,GLES20.GL_RGBA,0,0,512,512,0);

    // read pixels from the display buffer to imageview for debugging
    BitmapDisplay.mBitmap = SavePixels(0,0,512,512);

    // unbind texture
    GLES20.glBindTexture(GLES20.GL_TEXTURE_2D,0); 

这是我的播放器设置>其他：

更新2：可能尝试使用的管道：通过this接口在C ++中将外部纹理的绘制功能调用到FBO（附加到Unity的texture_2d）。

更新3：从本机代码调用Java函数，这些函数负责通过GL.IssuePluginEvent将纹理从SurfaceTexture绘制到FBO并绘制到Unity的纹理，就像在第一次更新。它将在模拟器中显示图像，但在Unity中不显示图像。

Answer 1

几个月前，我不得不做类似的任务，发现正确的管道正在Unity中创建纹理，在C中获得本机指针，最后在Java层中对其进行更新。

请看一下这个示例项目，它应该给您不同的视角。

https://github.com/robsondepaula/unity-android-native-camera

致谢