我正在尝试使用以下命令在EC2上创建Spark群集 (我指的是Apache documetnation)
ScheduledThreadPoolExecutor
一旦我触发命令主机和从机正在创建,但一旦进程达到'SSH-ready'状态进程继续等待密码
下面的是Trace。我已经提到了apache官方文档和许多其他文档/视频,没有任何创建要求输入密码。不确定我是否遗漏了什么,非常感谢任何指向这个问题的指针。
创建安全组spark-cluster-master创建安全组 spark-cluster-slaves搜索现有的集群spark-cluster region us-west-1 ... Spark AMI:ami-1a250d3e启动实例... 在us-west-1c推出了3个奴隶,regid = r-32249df4 us-west-1c,regid = r-5r426bar等待AWS传播实例 元数据... **
等待群集进入'ssh-ready'状态..........密码:
**
答案 0 :(得分:0)
修改spark-ec2.py脚本以包含代理并启用AWS Nat以允许出站呼叫