Question

我正在研究可以将论文中的数字数字化的android应用。我使用本机OpenCV代码在图像上找到数字。之后，我想使用OpenCV的dnn模块来识别数字。可以在这里找到有关创建神经网络的不错的教程：
https://www.youtube.com/watch?v=kFWKdLOxykE
mnist_convnet_graph.pbtxt 以此开头：

node {
  name: "conv2d_1_input"
  op: "Placeholder"
  attr {
    key: "dtype"
    value {
    type: DT_FLOAT
  }
  }
  attr {
    key: "shape"
    value {
      shape {
        dim {
          size: -1
        }
        dim {
          size: 28
        }
        dim {
          size: 28
        }
        dim {
          size: 1
        }
      }
    }
  }
}

所以输入是28x28的灰度图像。
在本教程中，java代码用于使用神经网络。但是，由于速度原因，我想在C ++中使用它。我用 cv :: dnn :: Net Dnn.readNetFromTensorflow（String model，String config）; 成功加载了模型，并将对象传递给NDK端。我使用以下命令为神经网络创建输入：

// The part of the image, we are interested in.
Rect roi(static_cast<int>(w), static_cast<int>(h),
             static_cast<int>(w), static_cast<int>(h));
Mat cropped(image_gray, roi);
// Resize image to 28x28.
Mat resized;
cv::resize(cropped, resized, Size(28,28));

在那之后，转发应该起作用：

const double IN_SCALE_FACTOR = 0.003921; // 1.0/255.0
Mat blob = dnn::blobFromImage(resized, IN_SCALE_FACTOR, Size(28,28));
net.setInput(blob);
Mat detections = net.forward();

其中 net 是传递的cv :: dnn :: Net对象。但是 net.forward（）命令失败并给出：
OpenCV（3.4.5）错误：在虚拟bool cv :: dnn :: experimental_dnn_34_v11 :: DataLayer :: getMemoryShapes（const std :: vector>＆，int，std :: :)中断言失败（inputs.size（）== requiredOutputs）向量>＆，std :: vector>＆）const，文件/build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp，第681行

我也尝试过：

裁剪rgb图片
垫blob = dnn :: blobFromImage（resize，1.0f，Size（28,28））;
不使用blobFromImage，而是使用 net.setInput（resize）;

但没有一个导致解决方案。有人对此有解决方案吗？任何建议或想法将不胜感激。

Answer 1

好的，我设法解决了问题。

首先，我意识到.pb和.pbtxt文件位于错误的目录中，并获得2个Failed to upload a file信息日志。

将文件放入正确的目录后，我遇到了问题：
error: (-215:Assertion failed) const_layers.insert(std::make_pair(name, li)).second in function 'void cv::dnn::experimental_dnn_34_v11::{anonymous}::addConstNodes(opencv_tensorflow::GraphDef&, std::map<cv::String, int>&, std::set<cv::String>&)'

按照Dmitry Kurtaev的建议here，我从.pbtxt中删除了Dnn.readNetFromTensorflow。之后我得到了错误：
OpenCV(3.4.5) Error: Unspecified error (Can't create layer "flatten_1/Shape" of type "Shape") in cv::Ptr<cv::dnn::experimental_dnn_34_v11::Layer> cv::dnn::experimental_dnn_34_v11::LayerData::getLayerInstance(), file /build/3_4_pack-android/opencv/modules/dnn/src/dnn.cpp, line 513

这导致我转到一个链接，该链接在Dmitry Kurtaev的评论here中找到。在对.pbtxt文件进行建议的修改（删除Const节点，修改和删除展平节点）之后，最终我没有出现任何错误，并且成功运行了神经网络。

注意：在创建模型之前添加K.backend.set_learning_phase(0)也会很有用。

在具有OpenCV的Android上使用神经网络进行灰度图像分类

1 个答案: