Question

flink的版本尝试：1.4.0,1.4.1,1.4.2

当我尝试制作这个简单的flink应用程序时

val env: StreamExecutionEnvironment = 
  StreamExecutionEnvironment.getExecutionEnvironment


env.fromElements("a", "b", "c").addSink(new BucketingSink[String]("file:///Users/joshlemer/projects/my-project/target/output"))

我得到以下运行时异常：

Exception in thread "main" java.lang.NoClassDefFoundError: Lorg/apache/hadoop/fs/FileSystem;
    at java.lang.Class.getDeclaredFields0(Native Method)
    at java.lang.Class.privateGetDeclaredFields(Class.java:2583)
    at java.lang.Class.getDeclaredFields(Class.java:1916)
    at org.apache.flink.api.java.ClosureCleaner.clean(ClosureCleaner.java:72)
    at org.apache.flink.streaming.api.environment.StreamExecutionEnvironment.clean(StreamExecutionEnvironment.java:1550)
    at org.apache.flink.streaming.api.datastream.DataStream.clean(DataStream.java:184)
    at org.apache.flink.streaming.api.datastream.DataStream.addSink(DataStream.java:1134)
    at org.apache.flink.streaming.api.scala.DataStream.addSink(DataStream.scala:1036)
    at com.company.project.Job$.run(Job.scala:52)
    at com.company.project.Job$.main(Job.scala:28)
    at com.company.project.Job.main(Job.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.FileSystem
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)

即使我可以使用dataStream.writeAsText(...)写入文本文件。

我的build.sbt非常典型：

val flinkVersion = "1.4.2"

val flinkDependencies =
  Seq(
    "org.apache.flink" %% "flink-scala" % flinkVersion % "provided",
    "org.apache.flink" %% "flink-streaming-scala" % flinkVersion % "provided",
    "org.apache.flink" %% "flink-statebackend-rocksdb" % flinkVersion,
    "org.apache.flink" %% "flink-connector-kafka-0.11" % flinkVersion,
    "org.apache.flink" %% "flink-connector-filesystem" % flinkVersion,
    "org.apache.flink" %% "flink-test-utils" % flinkVersion % "test",
    "org.apache.flink" % "flink-test-utils-junit" % flinkVersion % "test"
  )

使用Flink为IntelliJ用户推荐的额外idea.sbt

lazy val mainRunner = project.in(file("mainRunner")).dependsOn(RootProject(file("."))).settings(
  // we set all provided dependencies to none, so that they are included in the classpath of mainRunner
  libraryDependencies := (libraryDependencies in RootProject(file("."))).value.map{
    module =>
      if (module.configurations.equals(Some("provided"))) {
        module.copy(configurations = None)
      } else {
        module
      }
  }
)

这是我用来运行应用程序的（mainRunner被设置为应用程序类路径）。

我很困惑为什么会这样，特别是为什么包装以“Lorg”开头而不是“org”？

谢谢！

Answer 1

来自1.4 release notes：

从版本1.4开始，Flink可以在Classpath中不存在任何Hadoop依赖项的情况下运行。除了简单地在没有Hadoop的情况下运行，这使Flink能够动态使用类路径中可用的任何Hadoop版本。
     例如，您可以下载Flink的免费Hadoop版本，但可以使用它在任何受支持的YARN版本上运行，Flink将动态使用YARN的Hadoop依赖项。

这也意味着在使用连接到HDFS的情况下，例如BucketingSink或RollingSink，您现在必须确保使用带有捆绑Hadoop依赖关系的Flink分发，或者确保在构建jar时包含Hadoop依赖关系适用于您的申请的文件。

Flink BucketingSink与NoClassDefFoundError崩溃：Lorg / apache / hadoop / fs / FileSystem

1 个答案: