如何在gcloud ml-engine中上传批量预测的输入文件?

时间:2017-08-04 16:51:34

标签: tensorflow tensorflow-serving google-cloud-ml-engine

我正在尝试在Google Cloud ml-engine中创建批量预测作业。不幸的是,我总是得到同样的错误:

{
    insertId:  "wr85wwg6shs9ek"   
    logName:  "projects/tensorflow-test-1-168615/logs/ml.googleapis.com%2Ftest_job_23847239"   
    receiveTimestamp:  "2017-08-04T16:07:29.524193256Z"   
    resource: {
        labels: {
            job_id:  "test_job_23847239"     
            project_id:  "tensorflow-test-1-168615"     
            task_name:  "service"     
        }
        type:  "ml_job"    
    }
    severity:  "ERROR"   
    textPayload:  "TypeError: decoding Unicode is not supported"   
    timestamp:  "2017-08-04T16:07:29.524193256Z"   
}

我在java中创建文件并使用以下代码将其上传到存储桶:

BufferedImage bufferedImage = ImageIO.read(new URL(media.getUrl()));
int[][][] imageMatrix = convertToImageToMatrix(bufferedImage);
String imageString = matrixToString(imageMatrix);
String inputContent = "{\"instances\": [{\"inputs\": " + imageString + "}]}";
byte[] inputBytes = inputContent.getBytes(Charset.forName("UTF-8"));
Blob inputBlob = mlInputBucket.create(media.getId().toString() + ".json", inputBytes, "application/json");
inputPaths.add("gs://" + Properties.getCloudBucketNameInputs() + "/" + inputBlob.getName());

在此代码中,我下载图像,将其转换为uint8矩阵并将矩阵格式化为json字符串。该文件已创建并存在于存储桶中。我还验证了json文件是有效的。

在下一步中,我收集所有创建的文件并开始预测作业:

GoogleCloudMlV1PredictionInput input = new GoogleCloudMlV1PredictionInput();
input.setDataFormat("TEXT");
input.setVersionName("projects/" + DatastoreOptions.getDefaultProjectId() + "/models/" + Properties.getMlEngineModelName() + "/versions/" + Properties.getMlEngineModelVersion());
input.setRegion(Properties.getMlEngineRegion());
input.setOutputPath("gs://" + Properties.getCloudBucketNameOutputs() + "/" + jobId);
input.setInputPaths(inputPaths);

GoogleCloudMlV1Job job = new GoogleCloudMlV1Job();
job.setJobId(jobId);
job.setPredictionInput(input);
engine.projects().jobs().create("projects/" + DatastoreOptions.getDefaultProjectId() , job).execute();

最后,创建了作业,但结果是从头开始的。

我也尝试用gcloud sdk开始工作,但结果是一样的。但是,当我修改文件以删除instances对象并匹配online prediction的正确格式时,它可以工作(为了使其工作,我需要从输入中删除大部分行,因为在线预测的有效负载配额。)

我正在使用object detection中经过训练的宠物模型。我可以找到我创建的一个输入文件here

我在这里做错了什么?

1 个答案:

答案 0 :(得分:0)

我是否在tensorflow serving prediction not working with object detection pets example回答了您的问题?批量预测的输入不应包括' {"实例:}'。