Question

我正在使用spark-shell进行学习，为此我创建了几个包含常用代码的scala文件，比如类定义。我通过在shell中调用“：load”命令来使用这些文件。现在我想在纱线群集模式中使用spark-shell。我使用spark-shell --master yarn --deploy-mode client开始。 shell启动时没有任何问题，但是当我尝试运行“：load”加载的代码时，我遇到了执行错误。

 17/05/04 07:59:36 WARN YarnSchedulerBackend$YarnSchedulerEndpoint: Container marked as failed: container_e68_1493271022021_0168_01_000002 on host: xxxw03.mine.de. Exit status: 50. Diagnostics: Exception from container-launch.
Container id: container_e68_1493271022021_0168_01_000002
Exit code: 50
Stack trace: ExitCodeException exitCode=50:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:933)
        at org.apache.hadoop.util.Shell.run(Shell.java:844)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:1123)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:225)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:317)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:83)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
        at java.lang.Thread.run(Thread.java:745)

我想我必须将shell中加载的代码共享给worker。但是我该如何做呢？

Answer 1

spark-shell对于快速测试很有用，但是一旦你知道自己想要做什么并将完整的程序整合在一起，它的实用性就会大幅下降。

您可能希望现在继续使用spark-submit命令。请参阅有关提交申请的文档https://spark.apache.org/docs/latest/submitting-applications.html

使用此命令可以提供JAR文件而不是单个类文件。

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

<main-class>是您班级的Java风格路径，例如com.example.MyMainClass <application-jar>是包含项目中的类的JAR文件的路径，其他参数是根据我上面包含的链接记录的，但这两个是您提供代码的方式的两个主要区别。群集。

如何在集群上部署spark-shell中使用的scala文件？

1 个答案: