Question

有没有人知道HPCC / HDFS连接器。我们正在使用HPCC和HADOOP.HPCC开发了一个实用程序（HPCC / HDFS连接器），允许HPCC群集访问HDFS数据

我已经安装了连接器，但当我从hdfs运行程序到访问数据时，它会出现错误，因为libhdfs.so.0不存在。

我尝试使用命令

构建libhdfs.so

 ant compile-libhdfs -Dlibhdfs=1

它给我的错误

目标“compile-libhdfs”在项目“hadoop”中不存在

我又使用了一个命令

 ant compile-c++-libhdfs -Dlibhdfs=1

给出错误

常春藤下载：
  [get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar

  [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

  [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar
to /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

BUILD FAILED java.net.ConnectException：连接超时

任何建议都会有很大的帮助

Answer 1

Chhaya，您可能不需要构建libhdfs.so，具体取决于您安装hadoop的方式，您可能已经拥有它。

签入HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so，其中HADOOP_LOCATION是您的hadoop安装位置，arch是机器的架构（i386-32或amd64-64）。

找到lib后，确保正确配置H2H连接器（see page 4 here）。

只需更新配置文件中的HADOOP_LOCATION var即可： /opt/HPCCSystems/hdfsconnector.conf

祝你好运。

HPCC / HDFS连接器

1 个答案: