tf.transform可以处理viewfs://路径吗?

时间:2018-09-26 15:16:29

标签: tensorflow hdfs apache-beam tensorflow-transform

我发现在Apache Beam 2.5.0之后,Beam的python sdk可以识别hdfs路径。 但是在“ /python2.7/site-packages/apache_beam/io/hadoopfilesystem.py”中,支持架构仅为“ hdfs”。当我加载viewfs路径时,出现此错误:

ValueError:无法获取路径视图文件系统fs://hadoop-meituan/ghnn01/user/hadoop-poistar/huangshangzhi/sentiment_analysis/data/train_example.txt

谁能给我一些有关使用tf.transform在viewfs文件系统中读取文件的建议,我真的很感激。 谢谢!

0 个答案:

没有答案