Question

当我向独立群集提交应用程序时，我遇到了这个例外。

奇怪的是它来了又走了好几次。我已经将SPARK_LOCAL_IP设置为正确的IP地址。

但我不明白为什么工作总是访问端口0

环境是：

vm1：10.3.100.169，运行主从

vm2：10.3.101.119，正在运行奴隶

有人遇到过这个问题吗？关于如何解决的任何想法？

这是命令行和spark-env.sh

//Delegate for passing data
@protocol ViewControllerDelegate <NSObject>

@required
-(void)dataFromController:(CBPeripheral *)selectedPeripheral;

@end
@interface ViewController : UIViewController < CBPeripheralDelegate>


@property (nonatomic, weak) id<ViewControllerDelegate> delegate;
@property (strong, nonatomic) CBPeripheral   *selectedPeripheral;//store peripheral



@end

由于

Answer 1

如果我们考虑使用其默认配置全新安装Spark，则以下步骤应该创建一个可用的Spark Standalone群集。

<强> 1。在主服务器和从服务器上配置/ etc / hosts文件

两个节点上的主机文件应该类似于

127.0.0.1 localhost
10.3.100.169 master.example.com master
10.3.101.119 slave.example.com slave

<强> 2。在主人和工人之间设置无密码SSH

在主设备上执行以下命令

# change to the user you are going to use to run Spark eg. 'spark-user'
su - spark-user    
ssh-keygen
ssh-copy-id -i ~/.ssh/id_rsa.pub spark-user@slave
ssh-copy-id -i ~/.ssh/id_rsa.pub spark-user@master #(since you want to start a worker on master too)

验证您是否能够在没有密码的情况下从主服务器SSH到从属服务器

参考：setup passwordless ssh
第3。在所有节点上配置conf / slaves文件

您的从属文件应如下所示：

master.example.com
slave.example.com

<强> 4。启动群集

sbin/start-all.sh

希望这有帮助！

线程中的Spark Exception＆＃34; main＆＃34; java.net.BindException：无法绑定到：/10.3.100.169:0

1 个答案: