为什么要使用tensorflow gfile? (用于文件I / O)

时间:2017-03-21 09:26:09

标签: python multithreading tensorflow thread-safety

Tensorflow代码使用与python内置方法不同的文件I / O方法。 根据{{​​3}},它很有用

  

“没有线程锁定的文件I / O包装器”

我不确定它在什么场合有用以及什么时候不应该使用它。

有什么想法吗?

谢谢

1 个答案:

答案 0 :(得分:26)

此评论:

  

没有线程锁定的文件I / O包装器

...对于TensorFlow的tf.gfile模块来说是一个特别无用的描述!

tf.gfile模块的主要作用是:

  1. 提供接近Python的file个对象的API,
  2. 提供基于TensorFlow C++ FileSystem API的实现。
  3. C ++ FileSystem API支持多种文件系统实施,包括本地文件,Google云端存储(使用gs://前缀)和HDFS(使用hdfs://前缀)。 TensorFlow将这些导出为tf.gfile,以便您可以使用这些实现来保存和加载检查点,编写TensorBoard日志以及访问培训数据(以及其他用途)。但是,如果您的所有文件都是本地文件,则可以毫无问题地使用常规Python文件API。