我正在通过独立群集部署spark app。我有一个主人和两个奴隶。
我正在测试我的群集。我将应用程序.jar复制到同一位置的所有位置。
我观察到以下问题：
主人
线程中的异常＆＃34; main＆＃34; java.net.BindException：无法分配
要求的地址：服务＆＃39;司机＆＃39; 16次重试后失败了！考虑
明确设置服务的适当端口＆＃39; Driver＆＃39; （对于
例如SparkUI的spark.ui.port）到可用端口或增加
spark.port.maxRetries。 作业执行 作业执行 但我在奴隶上提交了多份工作，只有第一份工作才能执行。 在主人身上 作业执行占用了两个从属的全部资源，并没有考虑剩余的参数 但是，如果我把jar放在命令的末尾，就会出现上面提到的前3个场景。 我已经完成了群集配置
AWS ec2实例上的http://spark.praveendeshmane.co.in/spark/spark-1-6-1-cluster-mode-installation-on-ubuntu-14-04.jsp。 我想同时执行多个作业。 bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
奴隶1 bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
bin/spark-submit --class ***** --master spark://master:6066 --conf spark.driver.userClassPathFirst=true --deploy-mode cluster --executor-memory 1g --executor-cores 1 ******.jar
bin/spark-submit ******.jar --class ******