tf.python_io.TFRecordWriter是线程安全的吗？

Question

我想将csv格式的数据集文件并行转换为TFRecords。 tf.python_io.TFRecordWriter线程安全吗？

Answer 1

我也在寻找问题。我发现它不是线程安全的方法。我找不到此答案的任何文档，但尝试对同一数据使用多线程处理和单线程处理。结果是多线程方法创建了一个记录文件，该文件在训练时抛出错误，而单线程方法创建了一个有效的记录文件，该记录文件当然在训练时运行良好，但是比创建期间的多线程要花费更长的时间。我希望这个答案会有所帮助。