Question

我想将文件写入远程服务器上的hdfs，并且遇到了一些例子this和this。我的远程服务器上有 Cdh4.2.1 ，当我从我的代码中尝试import org.apache.hadoop.conf.Configuration;时，我收到以下错误：

Cannot resolve Configuration

我的pom.xml看起来像：

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-core</artifactId>
            <version>1.2.1</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.4.1</version>
        </dependency>

在this SO帖子中，pom.xml看起来有所不同，当我尝试将那些versions放入我的pom时，maven无法识别它。

如何解决此问题？

Answer 1

尝试仅使用hadoop-client依赖项并使用cloudera特定版本，因为您正在使用CDH：

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>2.0.0-cdh4.2.1</version>
</dependency>

还要确保您有以下存储库来解析jar依赖项：

<repository>
  <id>maven-hadoop</id>
  <name>Hadoop Releases</name>
  <url>https://repository.cloudera.com/content/repositories/releases/</url>
</repository>
<repository>
  <id>cloudera-repos</id>
  <name>Cloudera Repos</name>
  <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

解析org.apache.hadoop.conf.Configuration时出错

1 个答案: