如何针对HDP 2.6.1.0堆栈

时间:2017-10-12 15:01:08

标签: java maven hadoop hadoop2 hortonworks-data-platform

我想构建一个运行sqoop作业的java应用程序,执行一些hdfs操作并改变hive中的元数据。

为了实现这一切,我创建了一个maven项目,但我一直遇到依赖问题。

有人可以给我一个示例pom.xml,所以我可以开始编写我的应用程序了吗? 谢谢!

1 个答案:

答案 0 :(得分:1)

HDP Maven Artifacts

pom.xml repositories

<repository>
 <releases>
  <enabled>true</enabled>
 </releases>
 <snapshots>
  <enabled>true</enabled>
 </snapshots>
 <id>hortonworks.extrepo</id>
 <name>Hortonworks HDP</name>
 <url>http://repo.hortonworks.com/content/repositories/releases</url>
</repository>

<repository>
 <releases>
  <enabled>true</enabled>
 </releases>
 <snapshots>
  <enabled>true</enabled>
 </snapshots>
 <id>hortonworks.other</id>
 <name>Hortonworks Other Dependencies</name>
 <url>http://repo.hortonworks.com/content/groups/public</url>
</repository>

添加<dependency>部分,例如hadoop-common:2.7.3.2.5.0-37,其中是hadoop版本+ HDP版本