使用iOS 11 mlmodel进行图像分类 - 使用coremltools转换问题并训练.caffemodel

Question

似乎我使用coremltool和经过培训的.caffemodel有一些转换问题。我能够训练和测试caffe狗模型（120个类别，20k图像），它通过我的测试直接caffe分类。不幸的是，在转换为mlmodel之后，它并没有给出我对同一输入的有效预测。

培训模式

该模型已经使用Caffe，GoogleNet进行了培训，包含在lmdb中的120个类别的20k图像集和大约500k次迭代。我已经准备好了图像数据库，剩下的就是all files together here

使用caffe分类

caffe caffemodel。当我尝试针对受过训练的Apple运行分类请求时，它的效果很好，很有可能（80-99％），正确的结果：

classification example

使用iOS 11进行分类CoreML DTDogs.caffemodel

不幸的是，当我试图打包deploy.txt＆amp; Apple iOS 11 CoreML消耗的caffe到.mlmodel我有不同的预测结果。实际上，没有错误加载和使用模型，但我无法获得有效的分类，所有预测都是0-15％的置信度和错误的标签。为了正确测试，我使用与caffe直接分类完全相同的图像：

我也从这里尝试了我的iOS应用程序 - 它们工作正常，所以它似乎是打包程序的问题。

我错过了什么？

以下是使用python进行分类的示例：没有问题，正确答案（import numpy as np import sys import caffe import os import urllib2 import matplotlib.pyplot as plt %matplotlib inline test_folder = '/home/<username>/Desktop/CaffeTest/' test_image_path = "http://cdn.akc.org/content/hero/irish-terrier-Hero.jpg" # init caffe net model_def = test_folder + 'deploy.prototxt' model_weights = test_folder + 'DTDogs.caffemodel' # caffe.set_mode_gpu() net = caffe.Net(model_def, model_weights, caffe.TEST) # prepare transformer transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape}) transformer.set_transpose('data', (2,0,1)) transformer.set_raw_scale('data', 255) transformer.set_channel_swap('data', (2,1,0)) net.blobs['data'].reshape(1, 3, 256, 256) test_image = urllib2.urlopen(test_image_path) with open(test_folder + 'testImage.jpg','wb') as output: output.write(test_image.read()) image = caffe.io.load_image(test_folder + 'testImage.jpg') transformed_image = transformer.preprocess('data', image) net.blobs['data'].data[...] = transformed_image # classify output = net.forward() output_prob = output['prob'][0] output_prob_val = output_prob.max() * 100 output_prob_ind = output_prob.argmax() labels_file = test_folder + 'labels.txt' labels = np.loadtxt(labels_file, str, delimiter='\t') plt.imshow(image) print 'predicted class is:', output_prob_ind print 'predicted probabily is:', output_prob_val print 'output label:', labels[output_prob_ind] ）：

DTDogs.mlmodel

以下是使用coremltools打包.mlmodel模型的示例。我看到结果.caffemodel文件比原始coremltools小两倍，但它可能是python（import coremltools; caffe_model = ('DTDogs.caffemodel', 'deploy.prototxt') labels = 'labels.txt' coreml_model = coremltools.converters.caffe.convert(caffe_model, class_labels = labels, image_input_names= "data") coreml_model.short_description = "Dogs Model v1.14" coreml_model.save('DTDogs.mlmodel') ）的某种归档或压缩优化：< / p>

DTDogs.mlmodel

以下是在应用中使用.caffe的示例。我使用常规图片选择器来选择我用于swift分类测试（func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [String : Any]) { picker.dismiss(animated: true) print("Analyzing Image…") guard let uiImage = info[UIImagePickerControllerOriginalImage] as? UIImage else { print("no image from image picker"); return } guard let ciImage = CIImage(image: uiImage) else { print("can't create CIImage from UIImage"); return } imageView.image = uiImage do { let model = try VNCoreMLModel(for: DTDogs().model) let classificationRequest = VNCoreMLRequest(model: model, completionHandler: self.handleClassification) let orientation = CGImagePropertyOrientation(uiImage.imageOrientation) let handler = VNImageRequestHandler(ciImage: ciImage, orientation: Int32(orientation.rawValue)) try handler.perform([classificationRequest]) } catch { print(error) } } ）的相同图片：

void testIt() {
    int i = 100;
    int * j = &i;
    takes_a_function(print_int, j);
    char c = 'a';
    char * d = &c;
    takes_a_function(print_char, d);
};

Answer 1

通常在这些情况下发生的情况是Core ML传入模型的图像格式不正确。

对于Caffe模型，您通常需要在致电is_bgr=True时设置caffe.convert()，并且您通常必须传入将从中减去的RGB平均值输入图像，也可能是缩放值。

换句话说，Core ML需要执行与transformer在Python脚本中所做的相同的事情。

这样的事情：

coreml_model = coremltools.converters.caffe.convert(
    caffe_model, class_labels = labels, image_input_names= "data",
    is_bgr=True, image_scale=255.)

我不确定是否需要image_scale=255.，但值得一试。 ： - ）