Question

我正在尝试使用flink从kafka传输数据。我的代码编译没有错误，但在运行时我收到以下错误：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: 
    org/apache/flink/streaming/util/serialization/DeserializationSchema
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
    at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.util.serialization.DeserializationSchema
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

我的POM依赖关系列表如下：

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.3.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-core</artifactId>
            <version>0.9.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>0.10.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-kafka-0.9_2.11</artifactId>
            <version>1.3.2</version>
        </dependency>
        <dependency>
            <groupId>com.googlecode.json-simple</groupId>
            <artifactId>json-simple</artifactId>
            <version>1.1</version>
        </dependency>  
    </dependencies>

我正在尝试运行的java代码只订阅了一个名为＆＃39; streamer＆＃39;的

的kafka主题

import java.util.Properties;
import java.util.Arrays;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer09;
import org.apache.flink.streaming.util.serialization.SimpleStringSchema;
import org.apache.flink.streaming.util.serialization.DeserializationSchema;

public class StreamConsumer {
public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        Properties properties = new Properties();
        properties.setProperty("bootstrap.servers", "localhost:9092");
        properties.setProperty("group.id", "samplegroup");

        DataStream<String> messageStream = env.addSource(new FlinkKafkaConsumer09<String>("streamer", new SimpleStringSchema(), properties));

        messageStream.rebalance().map(new MapFunction<String, String>() {
                        private static final long serialVersionUID = -6867736771747690202L;
                        @Override
                        public String map(String value) throws Exception {
                                return "Streamed data: " + value;
                        }
                }).print();
        env.execute();
}
}

系统信息：
1.卡夫卡版本：0.9.0.1
2. Flink版本：1.3.2
3. OpenJDK版本：1.8

虽然我正在使用maven，但我认为这不是任何maven问题，因为即使我在没有maven的情况下尝试也会遇到同样的错误。我手动将所有必需的.jar文件下载到一个文件夹，并在使用javac进行编译时使用-cp选项指定该文件夹路径。我在运行时遇到与上面相同的错误，但在编译期间没有错误。

Answer 1

我想出了原因，现在看起来真是个愚蠢的错误。在我的情况下，jar包在运行时不可用。我最终根本没有使用maven。我使用javac -cp <path_to_jar_files>编译并使用java -cp <path_to_jar_files>

再次执行

Answer 2

看起来您的pom的第一个问题是您使用不同的版本进行flink导入。尝试为所有flink模块使用较新版本1.3.2。当您使用不兼容或多个版本的库时，通常会发生此错误。

尝试使用fallowing依赖项（假设您使用的是scala 2.11）：

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java</artifactId>
        <version>1.3.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-java_2.11</artifactId>
        <version>1.3.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-clients_2.11</artifactId>
        <version>1.3.2</version>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-connector-kafka-0.9_2.11</artifactId>
        <version>1.3.2</version>
    </dependency>
    <dependency>
        <groupId>com.googlecode.json-simple</groupId>
        <artifactId>json-simple</artifactId>
        <version>1.1</version>
    </dependency>  
</dependencies>

如果您在发布示例代码时遇到同样的问题，那么我可以重现错误。

Answer 3

使用kafka连接器运行flink时的NoClassDefFoundError

您的代码编译并且您正在获取NoClassDefFoundError，我认为其中之一您的依赖库在maven .pom的自动下载过程中缺少编译依赖关系或运行时依赖关系

所以可能是你得到NoClassDefFoundError

的根本原因

解决方案：清理并构建

Answer 4

如果您在pom文件中指定了某些位置，请尝试删除范围，因为它会在运行时限制类文件的范围

Limit Scope in POM file

Answer 5

我有同样的问题。对我来说，用

建造一个肥胖的罐子

mvn clean package -Pbuild-jar

使用kafka连接器运行flink时出现NoClassDefFoundError

5 个答案: