训练期间TF损坏了记录

Question

我一夜之间训练了一个神经网络，它崩溃了。我有两个问题：

1. 导致此错误的原因是什么？
2. 如何防止它再次发生？

两个主要错误是：

1. 错误：tensorflow：QueueRunner中的异常：损坏的记录52284962154
2. DataLossError（见上文中的追溯）：损坏记录52284962154

修改

在另一台机器上使用了相同的代码，并在大约6小时后崩溃并出现相同的错误。号码52284962154完全相同。

Answer 1

问题是写入错误。将数据再次转换为TFRecords后，错误消失。它现在可以超越步骤30747。