Question

我现在正在使用camera2Basic并尝试让每个帧数据进行一些图像处理。我在Android5.0中使用camera2 API，当只进行相机预览并且它是流畅的时候一切都很好。但是当我使用ImageReader.OnImageAvailableListener回调来获取每个帧数据时，预览会停滞不前，这会导致糟糕的用户体验。以下是我的相关代码：

这是摄像头和ImageReader的设置，我设置的图像格式是YUV_420_888

public<T> Size setUpCameraOutputs(CameraManager cameraManager,Class<T> kClass, int width, int height) {
    boolean flagSuccess = true;
    try {
        for (String cameraId : cameraManager.getCameraIdList()) {
            CameraCharacteristics characteristics = cameraManager.getCameraCharacteristics(cameraId);
            // choose the front or back camera
            if (FLAG_CAMERA.BACK_CAMERA == mChosenCamera &&        
                    CameraCharacteristics.LENS_FACING_BACK != characteristics.get(CameraCharacteristics.LENS_FACING)) {
                continue;
            }
            if (FLAG_CAMERA.FRONT_CAMERA == mChosenCamera &&  
                    CameraCharacteristics.LENS_FACING_FRONT != characteristics.get(CameraCharacteristics.LENS_FACING)) {
                continue;
            }
            StreamConfigurationMap map = characteristics.get(
                    CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP);

            Size largestSize = Collections.max(
                    Arrays.asList(map.getOutputSizes(ImageFormat.YUV_420_888)),
                    new CompareSizesByArea());

            mImageReader = ImageReader.newInstance(largestSize.getWidth(), largestSize.getHeight(),
                    ImageFormat.YUV_420_888, 3);

            mImageReader.setOnImageAvailableListener(mOnImageAvailableListener, mBackgroundHandler);
            ...
            mCameraId = cameraId;
       }
    } catch (CameraAccessException e) {
        e.printStackTrace();
    } catch (NullPointerException e) {

    }
    ......
}

当相机成功打开时，我为相机预览创建一个CameraCaptureSession

private void createCameraPreviewSession() {
    if (null == mTexture) {
        return;
    }

    // We configure the size of default buffer to be the size of camera preview we want.
    mTexture.setDefaultBufferSize(mPreviewSize.getWidth(), mPreviewSize.getHeight());

    // This is the output Surface we need to start preview
    Surface surface = new Surface(mTexture);

    // We set up a CaptureRequest.Builder with the output Surface.
    try {
        mPreviewRequestBuilder =
                mCameraDevice.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
        mPreviewRequestBuilder.addTarget(mImageReader.getSurface());
        mPreviewRequestBuilder.addTarget(surface);

        // We create a CameraCaptureSession for camera preview
        mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),
                new CameraCaptureSession.StateCallback() {

                    @Override
                    public void onConfigured(CameraCaptureSession session) {
                        if (null == mCameraDevice) {
                            return;
                        }

                        // when the session is ready, we start displaying the preview
                        mCaptureSession = session;

                        // Finally, we start displaying the camera preview
                        mPreviewRequest = mPreviewRequestBuilder.build();
                        try {
                            mCaptureSession.setRepeatingRequest(mPreviewRequest,
                                    mCaptureCallback, mBackgroundHandler);
                        } catch (CameraAccessException e) {
                            e.printStackTrace();
                        }
                    }

                    @Override
                    public void onConfigureFailed(CameraCaptureSession session) {

                    }
                }, null);
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
}

最后一个是ImageReader.OnImageAvailableListener回调

private final ImageReader.OnImageAvailableListener mOnImageAvailableListener = new ImageReader.OnImageAvailableListener() {
            @Override
            public void onImageAvailable(ImageReader reader) {
                Log.d(TAG, "The onImageAvailable thread id: " + Thread.currentThread().getId());
                Image readImage = reader.acquireLatestImage();
                readImage.close();
            }
        };

也许我做了错误的设置，但我尝试了几次但它不起作用。也许有另一种获取帧数据的方法而不是ImageReader，但我不知道。有人知道如何实时获取每个帧数据吗？

Answer 1

我不相信陈是正确的。图像格式对我测试的设备的速度几乎没有影响。相反，问题似乎与图像大小有关。在图像格式为YUV_420_888的Xperia Z3 Compact上，我在StreamConfigurationMap的{{1}}方法中提供了许多不同的选项：

getOutputSizes

对于这些相应的尺寸，将[1600x1200, 1280x720, 960x720, 720x480, 640x480, 480x320, 320x240, 176x144]设为mImageReader.getSurface()时，我获得的最大fps为：

mPreviewRequestBuilder

因此，一种解决方案是使用较低的分辨率来达到您想要的速率。对于好奇的...请注意，这些时间似乎不受行

的影响

[13, 18, 25, 28, 30, 30, 30, 30 ]

我担心在屏幕上添加表面可能会增加开销，但如果我删除第一行并将第二行更改为

    mPreviewRequestBuilder.addTarget(surface);
...
    mCameraDevice.createCaptureSession(Arrays.asList(surface, mImageReader.getSurface()),

然后我看到时间变化小于1 fps。因此，您是否也在屏幕上显示图像似乎并不重要。

我认为在camera2 API或ImageReader的框架中只有一些开销，这使得无法获得TextureView明显获得的全部速率。

最令人失望的事情之一就是，如果您切换回已弃用的Camera API，则可以通过mCameraDevice.createCaptureSession(Arrays.asList(mImageReader.getSurface()),方法设置PreviewCallback，轻松获得30 fps。使用该方法，无论分辨率如何，我都能获得30fps。具体来说，虽然它不直接提供1600x1200，但它确实提供1920x1080，甚至是30fps。

Answer 2

我正在尝试相同的事情，我想你可能会改变格式

mImageReader = ImageReader.newInstance(largestSize.getWidth(),
                                       largestSize.getHeight(),
                                       ImageFormat.FLEX_RGB_888, 3);

因为使用YUV可能会导致CPU压缩数据，并且可能需要一些时间。 RGB可以直接显示在设备上。并且从图像中检测到脸部应该放入其他线程中你必须知道它。

如何在Android5.0中实时使用camera2 API获取每个帧数据

2 个答案: