Question

将一些问题从Keras（keras_model_fn）转换为TF model_fn以便在Sagemaker中使用。

模型看起来像这样：

Keras

def keras_model_fn(hyperparameters):
    model = tf.keras.Sequential()
    # increase input_dim (cur 2500) as amount of words go up
    model.add(tf.keras.layers.InputLayer(input_shape=[8], name='main_input'))
    model.add(tf.keras.layers.Embedding(2500, 128, input_length=8))
    model.add(tf.keras.layers.Flatten())
    model.add(tf.keras.layers.Dense(NUM_CLASSES, activation='softmax'))
    model.compile(
        optimizer='adam',
        loss='categorical_crossentropy',
        metrics=['acc']
    )
    return model

Tensorflow

def model_fn(features, labels, mode, params):
    input_layer = tf.keras.layers.InputLayer(
        input_shape=(8,))(features[INPUT_TENSOR_NAME])
    embedding_layer = tf.keras.layers.Embedding(
        2500, 
        128, 
        input_length=8)(input_layer)
    flattened = tf.keras.layers.Flatten()(embedding_layer)
    predictions = tf.keras.layers.Dense(
        NUM_CLASSES, 
        activation='softmax')(flattened)

    if mode == tf.estimator.ModeKeys.PREDICT:
        return tf.estimator.EstimatorSpec(
            mode=mode,
            predictions={"output": predictions})

    loss = tf.losses.softmax_cross_entropy(labels, predictions)
    train_op = tf.contrib.layers.optimize_loss(
        loss=loss,
        global_step=tf.train.get_global_step(),
        learning_rate=0.001,
        optimizer="Adam")

    predictions_dict = {"output": predictions}
    eval_metric_ops = {
        "accuracy": tf.metrics.accuracy(
            tf.cast(labels,tf.int32), predictions)
    }
    return tf.estimator.EstimatorSpec(
        mode=mode,
        loss=loss,
        train_op=train_op,
        eval_metric_ops=eval_metric_ops
)

训练和评估数据完全相同。以一系列填充的文本序列（长度为8）进行馈送。预期输出为1/5标签。

损失

我假设问题在于损失功能。我无法弄清楚Sequential模型在幕后做什么，而我的张量流模型正在做什么。

在Keras模型中，我遇到了以下损失。

INFO:tensorflow:global_step/sec: 170.783
INFO:tensorflow:loss = 0.0018957269, step = 1701 (0.586 sec)
INFO:tensorflow:global_step/sec: 164.419
INFO:tensorflow:loss = 0.029586311, step = 1801 (0.608 sec)
INFO:tensorflow:global_step/sec: 155.381
INFO:tensorflow:loss = 0.0019212833, step = 1901 (0.644 sec)
INFO:tensorflow:Loss for final step: 0.0023477676.

在Converted模型中，我得到以下内容。

INFO:tensorflow:loss = 1.232958, step = 1701 (0.354 sec)
INFO:tensorflow:global_step/sec: 280.328
INFO:tensorflow:loss = 1.0923336, step = 1801 (0.357 sec)
INFO:tensorflow:global_step/sec: 291.823
INFO:tensorflow:loss = 1.4360821, step = 1901 (0.343 sec)
INFO:tensorflow:Loss for final step: 1.0532712.

正如预期的那样，转换模型（对于它所训练的数据）的准确率达到60％左右。 Keras模型的准确度为100％。

我的问题是转换中的所有内容都是正确的吗？对于转换后的模型，我可以做些什么来获得类似的性能？

我已经开始在Keras源代码中挖掘一下，看看模型编译功能对目标/输出做了什么，但是也要在这里找到，看看是否有人有建议/遇到此问题之前。

Answer 1

问题可能是你在TensorFlow版本中应用了两个softmax激活。请注意tf.losses.softmax_cross_entropy期望未缩放的日志。您可以执行以下操作：

logits = tf.keras.layers.Dense(
    NUM_CLASSES)(flattened)
predictions = tf.keras.layers.Activation(
    'softmax')(logits)

loss = tf.losses.softmax_cross_entropy(labels, logits)

Keras顺序模型对Tensorflow EstimatorSpec精度降低

1 个答案: