将Apache Spark添加到Eclipse Maven项目时出现问题

Question

我正在尝试将Apache Spark MLlib添加为Eclipse中Maven项目的依赖项。我有Maven插件，因此添加依赖项通常就像输入地址一样简单（甚至不必触及pom.xml）。当我尝试添加MLlib时，我收到了错误：

“所需库的归档（spark-core jar的位置）无法读取或不是有效的zip文件”

所以我去添加jar作为依赖，但是错误继续发生，只是使用不同的jar（接下来是hadoop，然后是snappy-java等），需要添加越来越多的依赖项。最终，我似乎添加了所有必需的依赖项，但错误只是循环回到hadoop一个：

“无法读取所需库的库（hadoop jar的位置）....”

当我尝试删除并重新添加它们时，它只是继续循环遍历所有这些。我对Maven很新，所以也许我错过了一些重要的东西，但我很困惑。

Answer 1

您尚未共享pom.xml文件，似乎您不想编辑它。无论如何，要确保为了使用MLlib，您必须将以下依赖项添加到您的应用程序pom.xml：

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.10</artifactId>
        <version>1.1.0</version>
    </dependency>