Question

对于项目要求，我尝试使用spark示例中的spark来构建FlumUtils示例。我能够创建jar文件。但在尝试执行它时，我收到以下错误。任何人都可以帮我解决这个问题吗？

<!DOCTYPE html>
<html>
<head>
</head>
<body>
  <div id="bg_back" style='background-image: url(https://placeholdit.imgix.net/~text?txtsize=75&bg=880000&txtclr=green&txt=1000×1000&w=1000&h=1000);'></div>
  <img src="https://placeholdit.imgix.net/~text?txtsize=33&txt=A+Large+Background&w=1000&h=800" id="img_back" height="256" width="512" />
  <canvas id="canvas_front" height="256" width="384"></canvas>
</body>
</html>

我正在运行相同的spark-submit --class SimpleApp target / simple-project-1.0.jar

任何人都可以帮助我吗？

Answer 1

如果您使用spark-sibmit运行作业..请确保使用 - jars 选项提供 spark-streaming_2.10 jar

Answer 2

从https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-flume-assembly下载spark-streaming-flume-assembly_2.10.jar，并使用选项--jars spark-streaming-flume-assembly_2.10.jar运行spark-submit，应解决NoClassDefFound的问题错误，由于运行时依赖性解决问题而产生。

java.lang.NoClassDefFoundError：SimpleApp.main中的org / apache / spark / streaming / flume / FlumeUtils（SimpleApp.java:61）

2 个答案: