将DistCP与HTTPFS和包含可编码字符的文件一起使用时,“ listStatus中的FileNotFoundException异常”

时间:2018-10-25 11:11:21

标签: hdfs distcp httpfs

我正在基于Hadoop 3.1的两个HDFS集群之间复制数据。 由于网络的限制,HTTPFS服务通过webshfs公开了源集群,而在目标集群上运行的DistCP服务则通过hdfs协议将数据从源复制到本地HDFS。

复制包含'='字符的路径时,例如:

webhdfs:///data/year=2018/month=10/day=25/part=1/part-<something>.snappy.parquet

我得到:

ERROR org.apache.hadoop.tools.SimpleCopyListing:593 - FileNotFoundException exception in listStatus: File /data/year%3D2018 does not exist.

运行:

curl "http://httpfs:14000/webhdfs/v1/data/year%3D2018?op=liststatus"

返回有效结果。

有什么想法吗?

0 个答案:

没有答案