Question

我创建了一个带有tensorflow后端的keras模型，但是很难导出我的模型以用于ML Engine（作为saved_model.pb）。这是我在做什么：

dataset = tf.data.Dataset.from_tensor_slices((data_train, labels_train))
dataset = dataset.map(lambda x, y: ({'reviews': x}, y))
val_dataset = tf.data.Dataset.from_tensor_slices((data_test, labels_test))
val_dataset = val_dataset.map(lambda x, y: ({'reviews': x}, y))
dataset = dataset.batch(self.batch_size).repeat()  # repeat infinitely
val_dataset = val_dataset.batch(self.batch_size).repeat()

然后，我对Dataset对象执行一些预处理：

dataset = dataset.map(lambda x, y: preprocess_text_and_y(x,y))
val_dataset = val_dataset.map(lambda x, y: preprocess_text_and_y(x,y))

我建立了我的keras模型并致电.fit(...)。一切正常。

然后我尝试使用以下方式导出模型：

def export(data_vocab):

    estimator = tf.keras.estimator.model_to_estimator(model)

    def serving():
        data_table = tf.contrib.lookup.index_table_from_tensor(tf.constant(self.data_vocab),
                                                                    default_value=0)
        inputs = {
            'reviews': tf.placeholder(shape=[1], dtype=tf.string)
        }
        preproc = inputs.copy()
        preproc = preprocess_text(preproc, data_table)
        return tf.estimator.export.ServingInputReceiver(preproc, inputs)

    estimator.export_savedmodel('./test_export', serving)

不幸的是，我回来了：

ValueError: The last dimension of the inputs to `Dense` should be defined. Found `None`.

我在Google上四处搜寻，发现了这一点：

How to use TensorFlow Dataset API in combination with dense layers

这表示我需要致电tf.set_shape(...)。我正在将字符串预处理为长度为100的整数数组。我曾尝试在x['reviews'].set_shape([100])函数中添加preprocess_text

但是那会中断以下训练：

ValueError: Shapes must be equal rank, but are 2 and 1

对如何解决有什么想法？

谢谢！

Answer 1

如果在批处理后设置形状，则需要将其设置为composer update以包括批处理轴：

[None, 100]

Tensorflow：ValueError：应该定义“密集”输入的最后维度。发现“无”

1 个答案: