我正在训练一个神经网络,并成功地运行了几个时期的所有训练数据。 然而,tfrecord corrputed错误突然出现如下:
File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/lib/io/tf_record.py", line 77, in tf_record_iterator
reader.GetNext(status)
File "/usr/lib/python2.7/contextlib.py", line 24, in __exit__
self.gen.next()
File "/usr/local/lib/python2.7/dist-packages/tensorflow/python/framework/errors_impl.py", line 466, in raise_exception_on_not_ok_status
pywrap_tensorflow.TF_GetCode(status))
tensorflow.python.framework.errors_impl.DataLossError: corrupted record at 106241330
我再次检查了数据文件,确实在该行已损坏。但是在运行训练代码之前数据是完整的,我只是通过以下代码读取数据:
batch_data = []
record_iterator = tf.python_io.tf_record_iterator(path=file, options=options)
for string_record in record_iterator:
example = tf.train.Example()
example.ParseFromString(string_record)
data = generate_data_from_record(example) # record parsing code
batch_data.append(data)
if len(batch_data) == batch_size:
yield batch_data
batch_data = []
我想知道为什么数据文件已损坏,如何保持数据文件的完整性。
答案 0 :(得分:0)
您应该制作tfrecord
文件的完整副本。每当您的工作副本损坏时,请从干净副本中进行替换。 dataLoss
错误似乎是由于多次读取同一条记录导致的,并且还取决于磁盘。