Question

我想显示我实时检测到的相机和线条（使用i.MX6和Android 4.4）。我使用Android相机.addCallbackBuffer来获取帧并使用TextureView来显示相机预览。

JNI（C ++）：获取帧缓冲区 - ＆gt;将byte []转换为Mat-＆gt;而不是使用OpenCV进行图像处理

JNI可以返回Mat（使用.getNativeObjAddr（））已经在其上绘制线条或返回两个坐标，这些坐标是线条的起点和终点

此代码在JNI中新建Mat并希望只返回两个坐标。如果这个方法无法工作，我将在JAVA中新建Mat并将.getNativeObjAddr（）发送给JNI，然后返回Mat。在TextureView中显示Mat？

问题：如何使用TextureView同时显示相机预览和检测到的线？

在MainActivity.java中

public class MainActivity extends Activity implements TextureView.SurfaceTextureListener, PreviewCallback {
protected Camera mCamera;
private TextureView mTextureView;
public byte[][] cameraBuffer;

@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    this.requestWindowFeature(Window.FEATURE_NO_TITLE);
    setContentView(R.layout.activity_main);

    mTextureView = new TextureView(this);
    mTextureView.setSurfaceTextureListener(this);
    setContentView(mTextureView);
}
....
@Override
public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
    mCamera = Camera.open(0);
    int bufferSize = mCamera.getParameters().getPictureSize().width * mCamera.getParameters().getPictureSize().height
            * ImageFormat.getBitsPerPixel(mCamera.getParameters().getPreviewFormat()) / 8;
    cameraBuffer = new byte[3][bufferSize];

    thread = new getFrameThread( this, kCameraWidth, kCameraHeight);
    for (int i = 0; i < 3; ++i)
        mCamera.addCallbackBuffer(cameraBuffer[i]);

    mCamera.setPreviewCallbackWithBuffer(this);             
    thread.start();

    if (mCamera == null) {
        throw new RuntimeException("Default camera not available");
    }
    try {
        mCamera.setPreviewTexture(surface);
        mCamera.startPreview();
    } catch (IOException ioe) {
        // Something bad happened
    }
}

@Override
public void onPreviewFrame(byte[] data, Camera camera) {
    // TODO Auto-generated method stub
    camera.addCallbackBuffer(data);//callback data to cameraBuffer
    thread.refresh(data, countFrame);//send new frame data to JNI
}
....
static {
    System.loadLibrary("opencv_java"); //load opencv_java lib
    System.loadLibrary("testLib");
}
public native void getRawFrame(byte[] data,int width, int height, int count);

}

在getFrameThread（运行JNI函数'getRawFrame'的线程）

public class getFrameThread extends Thread{
  public byte[] data;
  {
  .....
  mainActivity.getRawFrame(data, 480, 720);
  .....
  }

  public void refresh(byte[] data, int countFrame){
      this.data = data;
  }
}

在JNI

#include <jni.h>
#include <stdio.h>
#include <stdlib.h>

#include <opencv2/opencv.hpp>
using namespace cv;

extern"C"
{
.....
JNIEXPORT void JNICALL Java_com_example_adas_MainActivity_getRawFrame( JNIEnv* env, jobject thisobject,
    jbyteArray data, jint width, jint height){

  int length = env->GetArrayLength(data);
  unsigned char *bufferIn = (unsigned char*) env->GetPrimitiveArrayCritical(data, NULL);

  yuvMat = Mat(height  * 3/2, width, CV_8UC1, bufferIn);
  cvtColor(yuvMat, grayMat, cv::COLOR_YUV2GRAY_I420);


  //Do lines detected
  .....
  env->ReleasePrimitiveArrayCritical(data, bufferIn, JNI_ABORT);
}

Answer 1

您可以使用图像视图覆盖相机实时TextureView，可以使此图像部分透明。但这对增强现实来说不是一个好的解决方案。原因是OpenCV生成的内容有延迟。这种延迟可能不是很显着，但对用户来说可能非常烦人。

如果隐藏实时摄像机流并显示OpenCV处理更改的图像（来自onPreviewFrame()），结果会好得多。屏幕上显示的AR将延迟几毫秒（与摄像机实时视图相比），但场景将与检测到的线路一致。我在这个blog post中找到了一个很好的例子（和详细的编程指令）。

你仍然需要TextureView，因为Android Camera API要求你有一个实时预览来接收onPreviewFrame()回调。要隐藏它，您可以使用其他视图覆盖它，或者在OpenGL级别上操作纹理。

您还可以使用OpenGL显示OpenCV的结果：通常这种工作流程的性能比使用其他方式显示图像要好得多。

您还可以使用OpenGL绘制线条 - OpenCV处理的结果 - 不是位图的形式，并使用相机预览作为单独的纹理。

我可以使用TextureView同时显示相机预览和检测到的线条吗？

1 个答案: