Question

我想使用Tensorflow，OpenCV和Android开发机器学习程序。我已经训练了我的模型并将其上传到我的手机上，但是当我想要用相机拍摄的图像时，我遇到了问题。问题是相机正在拍摄格式为RGBa（有4个通道）的照片，而我的CNN输入只有3个通道（形状看起来像100,100,3）。此外，我想开发应用程序，我将在每个框架上进行推理，而无需按下按钮或类似的东西。我应该说我是Android开发的新手，这个应用程序只是为我的学士论文提供演示。

我的网络输入：

    X = tf.placeholder(tf.float32, shape=[1, height, width, channels], name="X")

其中height = width = 100且channels = 3

我的android代码看起来像这样：

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        javaCameraView = (JavaCameraView)findViewById(R.id.java_camera_view);
        javaCameraView.setVisibility(SurfaceView.VISIBLE);
        javaCameraView.setCvCameraViewListener(this);
        inferenceInterface = new TensorFlowInferenceInterface(getAssets(), MODEL_FILE);

    }

    @Override
    public Mat onCameraFrame(Mat inputFrame) {
        mRgba = inputFrame;
        Mat resizeimage = new Mat(100, 100, CvType.CV_32SC4);
        Imgproc.resize( inputFrame.clone(), resizeimage, new Size(100, 100));
        MatOfInt rgb = new MatOfInt(100, 100, CvType.CV_32SC3);
        resizeimage.convertTo(rgb,CvType.CV_32SC3);
        float[] rgbFloat = new float[(int)(rgb.total()*rgb.channels())];
        rgb.get(0,0,rgbFloat);
        inferenceInterface.feed(INPUT_NODE, rgbFloat, INPUT_SIZE);

        inferenceInterface.run(new String[] {OUTPUT_NODE});
        int size = classes.length;
        float resu[] = new float[size];
        for(int i =0;i< size;i++){
            resu[i] = 0;
        }
        inferenceInterface.fetch(OUTPUT_NODE, resu);
        Log.d("result", convert(resu));
        return mRgba;
    }

我该怎么办？

如何从RGB相机中获取图像？

0 个答案: