如何在hadoop上使用Spark启动Jar文件

Question

我在谷歌云平台上做了一个安装了hadoop的项目。我在scala中编写了一个程序，并使用sbt的汇编指令创建了一个可执行的JAR 现在我必须在我的平台上上传并运行它。我尝试使用命令spark-submit --class "Hi" provaciao.jar 但是我得到一个错误，即使它在本地火花独立工作。 我使用版本1.1.0的spark和2.4的hadoop

这是我的错误日志

  

marooned91_gmail_com @ Hadoop的M-on8g：/家庭/ Hadoop的/火花安装/斌$   spark-submit --class“嗨”provaciao.jar       java.lang.ClassNotFoundException：嗨               在java.net.URLClassLoader $ 1.run（URLClassLoader.java:366）               在java.net.URLClassLoader $ 1.run（URLClassLoader.java:355）               at java.security.AccessController.doPrivileged（Native Method）               在java.net.URLClassLoader.findClass（URLClassLoader.java:354）               at java.lang.ClassLoader.loadClass（ClassLoader.java:425）               at java.lang.ClassLoader.loadClass（ClassLoader.java:358）               at java.lang.Class.forName0（Native Method）               在java.lang.Class.forName（Class.java:274）               在org.apache.spark.deploy.SparkSubmit $ .launch（SparkSubmit.scala：318）               在org.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：75）               在org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）

Answer 1

尝试将完整的包路径添加到Hi类。如果您没有为课程指定包，请执行此操作。

喜欢

spark-submit --class＆＃34; com.mycompany.something.Hi＆＃34; provaciao.jar

同时解压缩你的jar文件并检查其中是否存在Hi类