我正在基于Hadoop 3.1的两个HDFS集群之间复制数据。 由于网络的限制,HTTPFS服务通过webshfs公开了源集群,而在目标集群上运行的DistCP服务则通过hdfs协议将数据从源复制到本地HDFS。
复制包含'='字符的路径时,例如:
webhdfs:///data/year=2018/month=10/day=25/part=1/part-<something>.snappy.parquet
我得到:
ERROR org.apache.hadoop.tools.SimpleCopyListing:593 - FileNotFoundException exception in listStatus: File /data/year%3D2018 does not exist.
运行:
curl "http://httpfs:14000/webhdfs/v1/data/year%3D2018?op=liststatus"
返回有效结果。
有什么想法吗?