嵌入式Kafka和Spark 2.3版本不匹配问题

时间:2020-05-28 06:14:43

标签: scala apache-spark apache-kafka scalatest embedded-kafka

当我使用此依赖项时:

    <dependency>
        <groupId>net.manub</groupId>
        <artifactId>scalatest-embedded-kafka_2.11</artifactId>
        <version>2.0.0</version>
        <scope>test</scope>
    </dependency>

使用

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
        <version>2.3.0</version>
    </dependency>

我遇到此错误:

Cause: java.lang.ClassNotFoundException: org.apache.spark.sql.sources.v2.reader.SupportsScanUnsafeRow

试图弄清楚哪个版本的“ scalatest-embedded-kafka”可以在Spark 2.3中使用。

有什么想法吗?

0 个答案:

没有答案
相关问题