Question

我正在Scala-IDE中为Spark-core和Dataframes构建我的工作区。以下是我在pom.xml中提供的端点

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.6.2</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11  -->


<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>1.6.1</version>
</dependency>

看起来版本不兼容。我将使用哪个sqlContext版本与spark-core-1.6.2。

Answer 1

我会用这个：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>1.6.2</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>1.6.2</version>
</dependency>

我会在两个版本中使用相同的scala版本！你在你的dependdencys中指定了scala 2.10中的spark core和2.11中的spark sql。目前Spark Core 1.6.3可用，但不是Spark SQL 1.6.3。但是当它可用时，你应该改变你的pom，因为它们已经发布了很多bugfixes。

Answer 2

    <scala.version>2.11.7</scala.version>
    <scala.compat.version>2.11</scala.compat.version>
    <spark.sql.version>1.6.0</spark.sql.version>
    <spark.core.version>1.6.0</spark.core.version>
  <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_${scala.compat.version}</artifactId>
        <version>${spark.sql.version}</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_${scala.compat.version}</artifactId>
        <version>${spark.core.version}</version>
    </dependency>

SQLcontext版本与spark-core对齐

2 个答案: