Tensorflow Estimator错误：已释放对象的校验和不正确-对象在释放后可能已被修改

Question

我正在训练TF Boosted Trees估算器，这给了我一个错误：

incorrect checksum for freed object - object was probably modified after being freed.

在CloudML上，我得到：

Command '['python', '-m', u'trainer.model', u'--job-type', u'remote', '--job-dir', u'gs://xxx']' died with signal 7.

经过大约1个小时的训练后

。我正在CPU上训练。这表明存在内存泄漏，但是我仅使用TF代码，因此我不确定出什么问题。

我的代码如下：

def build_training_input_fn():

    def parse_record(record):

        transformed_feature_spec = transformed_metadata.schema.as_feature_spec()

        transformed_features = tf.parse_single_example(record, transformed_feature_spec)
        cols_to_remove = []
        transformed_labels = transformed_features.pop(LABEL_KEY)
        transformed_features = {key: value for (key, value) in transformed_features.items() if
                            key not in cols_to_remove}
        return transformed_features, transformed_labels

    def input_fn(file_pattern):
        files = tf.data.Dataset.list_files(file_pattern=file_pattern) 
        files.apply(
        tf.data.experimental.parallel_interleave(
            lambda filename: tf.data.TFRecordDataset(filename),
            cycle_length=32,
            block_length=1,
            sloppy=True,
        ))
        dataset = dataset.apply(tf.data.experimental.map_and_batch(
        map_func=parse_record, batch_size=BATCH_SIZE, drop_remainder=False,
        num_parallel_batches=1))

        return dataset

return input_fn

classifier = tf.estimator.BoostedTreesClassifier()
input_fn_train = build_training_input_fn()
classifier.train(input_fn=input_fn_train)

我正在读取Apache Beam创建的TF记录。

我不确定如何获得此类错误，我知道TF记录中的数据很好，并且我可以使用同一组训练XGB / Catboost。

有人可以帮忙吗？