Google ML-Engine中的keras模型预测失败

时间:2018-02-22 02:29:36

标签: tensorflow machine-learning google-cloud-platform keras

我正在制作一个教程,其中包括使用基于Keras的模型在Google的云服务上使用ML-Engine。

在这个阶段,我让模型适用于本地预测等,并已成功将导出的模型放入GC-bucket中。我还成功创建了Google Cloud ML-Engine模型。

当我尝试从云托管模型运行预测时,我产生了以下错误。

错误:

C:\mydir>gcloud ml-engine predict --model=[mymodel] --json-instances=sample_input_prescaled.json

        {
      "error": "Prediction failed: Error during model execution: AbortionError(code=StatusCode.FAILED_PRECONDITION, details=\"Attempting to use uninitialized value dense_4/bias\n\t [[Node: dense_4/bias/read = Identity[T=DT_FLOAT, _class=[\"loc:@dense_4/bias\"], _output_shapes=[[1]], _device=\"/job:localhost/replica:0/task:0/cpu:0\"](dense_4/bias)]]\")"
    }

我可以看到这个错误是指未初始化的值' dense_4',它看起来像是Keras模型中的最后一层,但是我不确定是否/为什么这会绊倒这个过程?

有没有人对此错误消息的原因有所了解?

下面是我在教程中使用的keras模型,以及用于测试预测的json文件。

export_model.py

import pandas as pd
import keras
from keras.models import Sequential
from keras.layers import *
import tensorflow as tf

training_data_df = pd.read_csv("sales_data_training_scaled.csv")

X = training_data_df.drop('total_earnings', axis=1).values
Y = training_data_df[['total_earnings']].values

# Define the model
model = Sequential()
model.add(Dense(50, input_dim=9, activation='relu'))
model.add(Dense(100, activation='relu'))
model.add(Dense(50, activation='relu'))
model.add(Dense(1, activation='linear'))
model.compile(loss='mean_squared_error', optimizer='adam')



# Create a TensorBoard logger
logger = keras.callbacks.TensorBoard(
    log_dir='logs',
    histogram_freq=5,
    write_graph=True
)

# Train the model
model.fit(
    X,
    Y,
    epochs=50,
    shuffle=True,
    verbose=2
)

# Load the separate test data set
test_data_df = pd.read_csv("sales_data_test_scaled.csv")

X_test = test_data_df.drop('total_earnings', axis=1).values
Y_test = test_data_df[['total_earnings']].values

test_error_rate = model.evaluate(X_test, Y_test, verbose=0)
print("The mean squared error (MSE) for the test data set is: {}".format(test_error_rate))


model_builder = tf.saved_model.builder.SavedModelBuilder("exported_model")

inputs = {
    'input': tf.saved_model.utils.build_tensor_info(model.input)
}
outputs = {
    'earnings': tf.saved_model.utils.build_tensor_info(model.output)
}

signature_def = tf.saved_model.signature_def_utils.build_signature_def(
    inputs=inputs,
    outputs=outputs,
    method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
)

model_builder.add_meta_graph_and_variables(
    K.get_session(),
    tags=[tf.saved_model.tag_constants.SERVING],
    signature_def_map={
        tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature_def
    }
)

model_builder.save()

sample_input_prescaled.json

{"输入":[0.4999,1.0,0.0,1.0,0.0,0.0,0.0,0.0,0.5]}

2 个答案:

答案 0 :(得分:1)

根据同一教程,我发现有变化:

inputs = {
    'input': tf.saved_model.utils.build_tensor_info(model.input)
}
outputs = {
    'earnings': tf.saved_model.utils.build_tensor_info(model.input)
}

收件人:

inputs = {
    'input': tf.compat.v1.saved_model.utils.build_tensor_info(model.input)
}
outputs = {
    'earnings': tf.compat.v1.saved_model.utils.build_tensor_info(model.output)
}

导出模型时,为我解决了问题,不赞成使用前者。

希望这会有所帮助。

答案 1 :(得分:0)

上述代码以及以下输入对我有用。

X = np.random.rand(1000,9)
Y = np.random.rand(1000,1)

然后我使用了以下代码。

from keras import backend as K    
sess = K.get_session()
input_tensor = model.input
output_tensor = model.output
output_tensor.eval(feed_dict={input_tensor: np.random.rand(1,9)}, 
session=sess) 

接下来,我导出模型。在使用服务功能之前,请确保导出的模型正常工作。

 export_dir = ...
      with tf.Session(graph=tf.Graph()) as sess:
      tf.saved_model.loader.load(sess, [tag_constants.TRAINING], export_dir)

它有效。然后,我在task.py中使用以下服务函数来提供JSON输入,并再次起作用。

 def json_serving_input_fn():
   inputs = {}
   for feat in 9:
      inputs[feat.name] = tf.placeholder(shape=[None], dtype=feat.dtype)
   return tf.estimator.export.ServingInputReceiver(inputs, inputs)

所以,我怀疑你的输入没有正确输入。