我尝试从远程hdfs获取文件，然后找出是否调用“ tf.gfile.Glob”，这要花10G RAM。
如何避免这种情况，因为我的输入管道是多进程的，并且我需要尽可能多的进程才能足够快地获取远程tfrecords！
答案 0 :(得分：1)
这是我前一段时间报告的错误：https://github.com/tensorflow/tensorflow/issues/23733
某些版本的Tensorfow受到影响。由Archlinux中的tensorflow软件包维护者编译的一个，我发现在cuda环境中安装tensorflow时也会发生这种情况。
因此：如果使用conda，请尝试更改tensorflow版本/使用的环境。