Question

我对OpenCV的Android相机示例代码感到困惑。他们创建了一个实现SurfaceHolder.Callback的自定义类，并将以下行放在方法surfaceChanged中：

mCamera.setPreviewDisplay(null);

setPreviewDisplay的Android文档说明：

必须在startPreview（）之前调用此方法。唯一的例外是如果预览表面未设置（或设置为null）之前调用startPreview（），然后用a调用此方法一次用于设置预览曲面的非null参数。（这允许相机设置和曲面创建并行发生，节省时间预览表面在预览运行时可能不会改变。

不同寻常的是，OpenCV的代码从不使用非null的SurfaceHolder调用setPreviewDisplay。它工作正常，但使用setDisplayOrientation更改图像的旋转不起作用。这条线似乎也没有做任何事情，因为没有它我会得到相同的结果。

如果我使用提供给setPreviewDisplay而不是surfaceChanged的SurfaceHolder来调用null，则图片会旋转，但不会包含图像处理的结果。我稍后再拨打IllegalArgumentException时会收到lockCanvas。

发生了什么事？

以下是其代码中最相关的部分（可能），略微简化并使用内联方法。这是the full version。

课程定义

public abstract class SampleViewBase extends SurfaceView 
    implements SurfaceHolder.Callback, Runnable {

打开相机时

mCamera.setPreviewCallbackWithBuffer(new PreviewCallback() {
    public void onPreviewFrame(byte[] data, Camera camera) {
        synchronized (SampleViewBase.this) {
            System.arraycopy(data, 0, mFrame, 0, data.length);
            SampleViewBase.this.notify(); 
        }
        camera.addCallbackBuffer(mBuffer);
    }
});

表面更改时

/* Now allocate the buffer */
mBuffer = new byte[size];
/* The buffer where the current frame will be copied */
mFrame = new byte [size];
mCamera.addCallbackBuffer(mBuffer);

try {
    mCamera.setPreviewDisplay(null);
} catch (IOException e) {
    Log.e(TAG, "mCamera.setPreviewDisplay/setPreviewTexture fails: " + e);
}

[...]

/* Now we can start a preview */
mCamera.startPreview();

运行方法

public void run() {
    mThreadRun = true;
    Log.i(TAG, "Starting processing thread");
    while (mThreadRun) {
        Bitmap bmp = null;

        synchronized (this) {
            try {
                this.wait();
                bmp = processFrame(mFrame);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }

        if (bmp != null) {
            Canvas canvas = mHolder.lockCanvas();
            if (canvas != null) {
                canvas.drawBitmap(bmp, (canvas.getWidth() - getFrameWidth()) / 2, 
                    (canvas.getHeight() - getFrameHeight()) / 2, null);
                mHolder.unlockCanvasAndPost(canvas);
            }
        }
    }
    Log.i(TAG, "Finishing processing thread");
}

Answer 1

我遇到了同样的问题。我没有使用SurfaceView.Callback，而是继承了他们的班级JavaCameraView。查看我的实时面部检测和绘图样本here。在处理之前，根据设备的方向旋转从相机出来的矩阵是微不足道的。链接代码的相关摘录：

@Override
    public Mat onCameraFrame(Mat inputFrame) {
        int flipFlags = 1;
        if(display.getRotation() == Surface.ROTATION_270) {
            flipFlags = -1;
            Log.i(VIEW_LOG_TAG, "Orientation is" + getRotation());
        }
        Core.flip(inputFrame, mRgba, flipFlags);
        inputFrame.release();
    Imgproc.cvtColor(mRgba, mGray, Imgproc.COLOR_RGBA2GRAY);
        if (mAbsoluteFaceSize == 0) {
            int height = mGray.rows();
            if (Math.round(height * mRelativeFaceSize) > 0) {
                mAbsoluteFaceSize = Math.round(height * mRelativeFaceSize);
            }
        }
    }

Answer 2

我使用OpenCV本身解决了旋转问题：在找出需要使用this code校正多少屏幕旋转后，我将旋转矩阵应用于原始相机图像（从YUV转换为RGB后）：

Point center = new Point(mFrameWidth/2, mFrameHeight/2);
Mat rotationMatrix = Imgproc.getRotationMatrix2D(center, totalRotation, 1);

[...]

Imgproc.cvtColor(mYuv, mIntermediate, Imgproc.COLOR_YUV420sp2RGBA, 4);
Imgproc.warpAffine(mIntermediate, mRgba, rotationMatrix, 
    new Size(mFrameHeight, mFrameWidth));

另一个问题是setPreviewDisplay(null)在某些手机上显示空白屏幕。我从here得到的解决方案并使用this bugreport和this SO问题，将隐藏的“假”SurfaceView传递给预览显示以启动它，但实际上在覆盖的自定义视图上显示输出，我称之为CameraView。因此，在活动的setContentView()中调用onCreate()后，请坚持使用以下代码：

if (VERSION.SDK_INT < VERSION_CODES.HONEYCOMB) {
    final SurfaceView fakeView = new SurfaceView(this);
    fakeView.setLayoutParams(new LayoutParams(LayoutParams.MATCH_PARENT, LayoutParams.MATCH_PARENT));
    fakeView.setZOrderMediaOverlay(false);

    final CameraView cameraView = (CameraView) this.findViewById(R.id.cameraview); 
    cameraView.setZOrderMediaOverlay(true); 
    cameraView.fakeView = fakeView;
}

然后，在设置预览显示时，请使用以下代码：

try {
    if (VERSION.SDK_INT >= VERSION_CODES.HONEYCOMB)
        mCamera.setPreviewTexture(new SurfaceTexture(10));
    else
        mCamera.setPreviewDisplay(fakeView.getHolder());
} catch (IOException e) {
    Log.e(TAG, "mCamera.setPreviewDisplay fails: "+ e);
}

如果您只是为Honeycomb及以上版本开发，只需将setPreviewDisplay（null）替换为mCamera.setPreviewTexture(new SurfaceTexture(10));并完成它。但是，如果你这样做，setDisplayOrientation()仍然不起作用，所以你仍然必须使用旋转矩阵解决方案。

setPreviewDisplay和setDisplayOrientation

2 个答案: