Question

我正在尝试使用google vision api进行人脸检测和添加蒙版（图形叠加），问题是我在检测到并添加了mask后无法从相机中获取ouptut。到目前为止，我已经尝试过github的此解决方案，{{3基于这个问题，我添加了一个自定义检测器类， https://github.com/googlesamples/android-vision/issues/24。并在mydetector类Mobile Vision API - concatenate new detector object to continue frame processing上添加了这个。

MyDetectorClass

class MyFaceDetector extends Detector<Face> 
{
    private Detector<Face> mDelegate;

    MyFaceDetector(Detector<Face> delegate) {
        mDelegate = delegate;
    }

    public SparseArray<Face> detect(Frame frame) {
        // *** add your custom frame processing code here
        ByteBuffer byteBuffer = frame.getGrayscaleImageData();
        byte[] bytes = byteBuffer.array();
        int w = frame.getMetadata().getWidth();
        int h = frame.getMetadata().getHeight();
        YuvImage yuvimage=new YuvImage(bytes, ImageFormat.NV21, w, h, null);
        ByteArrayOutputStream baos = new ByteArrayOutputStream();
        yuvimage.compressToJpeg(new Rect(0, 0, w, h), 100, baos); // Where 100 is the quality of the generated jpeg
        byte[] jpegArray = baos.toByteArray();
        Bitmap bitmap = BitmapFactory.decodeByteArray(jpegArray, 0, jpegArray.length);
        Log.e("got bitmap","bitmap val " + bitmap);
        return mDelegate.detect(frame);
    }

    public boolean isOperational() {
        return mDelegate.isOperational();
    }

    public boolean setFocus(int id) {
        return mDelegate.setFocus(id);
    }
}

帧处理

public SparseArray<Face> detect(Frame frame) 
{
    // *** add your custom frame processing code here
    ByteBuffer byteBuffer = frame.getGrayscaleImageData();
    byte[] bytes = byteBuffer.array();
    int w = frame.getMetadata().getWidth();
    int h = frame.getMetadata().getHeight();
    YuvImage yuvimage=new YuvImage(bytes, ImageFormat.NV21, w, h, null);
    ByteArrayOutputStream baos = new ByteArrayOutputStream();
    yuvimage.compressToJpeg(new Rect(0, 0, w, h), 100, baos); // Where 100 is the quality of the generated jpeg
    byte[] jpegArray = baos.toByteArray();
    Bitmap bitmap = BitmapFactory.decodeByteArray(jpegArray, 0, jpegArray.length);
    Log.e("got bitmap","bitmap val " + bitmap);
    return mDelegate.detect(frame);
}

我得到一个旋转的位图，没有我添加的掩码（图形叠加）。如何使用蒙版获得相机输出。

提前致谢。

Answer 1

简单的答案是：你不能。

为什么呢？ NV21 ByteBuffer中的Android相机输出帧。并且您必须根据分隔的位图中的地标点生成蒙版，然后加入它们。抱歉，这就是Android Camera API的工作方式。什么都做不了。你必须手动完成。

另外，我不会得到相机预览然后将其转换为YuvImage然后转换为Bitmap。该过程消耗很多资源，并使预览非常慢。相反，我会使用这种方法，它会更快，并在内部旋转你的预览，所以你不会浪费时间去做：

outputFrame = new Frame.Builder().setImageData(mPendingFrameData, mPreviewSize.getWidth(), mPreviewSize.getHeight(), ImageFormat.NV21)
              .setId(mPendingFrameId)
              .setTimestampMillis(mPendingTimeMillis)
              .setRotation(mRotation)
              .build();
mDetector.receiveFrame(outputFrame);

所有代码都可以在CameraSource.java

中找到

无法获取相机输出，脸部检测android

1 个答案: