我发现在Apache Beam 2.5.0之后,Beam的python sdk可以识别hdfs路径。 但是在“ /python2.7/site-packages/apache_beam/io/hadoopfilesystem.py”中,支持架构仅为“ hdfs”。当我加载viewfs路径时,出现此错误:
ValueError:无法获取路径视图文件系统fs://hadoop-meituan/ghnn01/user/hadoop-poistar/huangshangzhi/sentiment_analysis/data/train_example.txt
谁能给我一些有关使用tf.transform在viewfs文件系统中读取文件的建议,我真的很感激。 谢谢!