Mule - 从HDFS

时间:2018-03-19 02:58:20

标签: mule hdfs

我需要复制包含HDFS (Hadoop distributed file system)子文件夹和文件的目录(/ tmp / xxx_files / xxx / Output)头。我正在使用HDFS connector,但它似乎不支持此功能。

总是会出现如下错误:

org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): Path is not a file: /tmp/xxx_files/xxx/Output/

我没有看到任何选项是用于复制指定路径内的文件/目录的HDFS连接器。它总是希望复制文件名。

是否可以使用MuleSoft的HDFS连接器复制包含子文件夹和文件的目录头?

1 个答案:

答案 0 :(得分:0)

作为HSFS connector on the official MuleSoft website州的技术文档,代码托管在连接器的GitHub站点上:

  

Hadoop分布式文件系统(HDFS)的Anypoint连接器   用作应用程序之间的双向网关。它的来源   存储在HDFS Connector GitHub站点。

它没有声明,GitHub网站上还有a more detailed technical documentation

在这里,您还可以找到different examples如何将连接器用于基本文件系统操作。

这些链接似乎在MuleSoft官方文档中被打破了。

您可以在此处找到存储库:

https://github.com/mulesoft/mule-hadoop-connector

操作在HdfsOperations java class中实施。 (另见FileSystemApiService class

如您所见,您期望的功能未实现。它不支持开箱即用。

您无法使用HDFS连接器复制包含HDFS子文件夹和文件的目录头,而无需任何进一步的工作。