Eclipse:无法解析Apache Spark 2.1.1,org.apache.spark.logging

时间:2017-06-26 10:29:34

标签: java eclipse maven apache-spark

错误陈述:

SELECT
    [Extent1].[Id] AS [Id],
    [Extent2].[Name] AS [Name],
    [Extent1].[Name] AS [Name1]
    FROM  [dbo].[Tutors] AS [Extent1]
    INNER JOIN [dbo].[Students] AS [Extent2] ON [Extent1].[Id] = [Extent2].[TutorId]

我读到了错误here(这些错误的一般情况)。此外,我发现org.apache.spark.logging实际上不适用于Spark版本> 1.5.2 here

我可以通过将spark版本设置为1.5.2来运行代码。有没有办法使用Spark版本2.1.1运行相同的代码(如果需要,可以进行一些更改)?我特意尝试this代码。

我是maven,eclipse和spark的新手,因此我将非常感谢您解释这些内容的详细答案。

1 个答案:

答案 0 :(得分:0)

您似乎正在使用Spark 2.1.1,因此请使用以下依赖关系来解决此问题。

   <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
        <version>2.1.1</version>            
    </dependency>