NoSuch文件异常 - Spark Standalone集群

Question

我有两台名为

的机器

1. ubuntu1 - 主节点
2. ubuntu2 - worker

我正在尝试执行该示例，因此我有一个jar名称app1.jar。

提交申请时，发送错误。

java.io.NoSuchFileException：/home/ubuntu1/demo/app1.jar

我的命令行是

./spark-submit --master spark://ubuntu1-VirtualBox:7077 --deploy-mode cluster --class br.com.wordCount.App -v --name"App 1" /home/ubuntu1/demo/app1.jar /home/ubuntu1/demo/myfile.txt

为什么发给我这个错误？该文件是该目录。

注意：主人和工人在不同的机器上。

非常感谢你。

Answer 1

所以，我使用的是--deploy-mode集群，这就是集群中找不到jar的原因。我认为有些工作没有jar，如果我想使用集群部署模式，解决方案是将jar放在每个节点中。