防止AWS EMR ssh连接超时

时间:2020-08-19 05:07:05

标签: ssh

我在本地服务器上运行了一个cron作业。我想用它来

  1. 启动新的EMR集群
  2. 在集群上触发Spark模型训练作业 像这样ssh -o "StrictHostKeyChecking no" -i xxx.pem hadoop@10.10.x.xxxx "bash ~/train_model.sh"。由于EMR群集每次都是新的,因此请使用-o "StrictHostKeyChecking no"标志来避免进行新的主机检查。
  3. 最终关闭EMR集群。

问题在于模型训练需要10个小时以上的时间,并且每次在步骤2的ssh连接超时

通过搜索,我发现可以通过在EMR群集主节点上编辑ssh config来解决此问题,但是由于EMR群集每次都是新的,因此我也必须每次都进行编辑。我很想知道是否还有更整洁的方法?

0 个答案:

没有答案