我在本地服务器上运行了一个cron作业。我想用它来
ssh -o "StrictHostKeyChecking no" -i xxx.pem hadoop@10.10.x.xxxx "bash ~/train_model.sh"
。由于EMR群集每次都是新的,因此请使用-o "StrictHostKeyChecking no"
标志来避免进行新的主机检查。问题在于模型训练需要10个小时以上的时间,并且每次在步骤2的ssh连接超时。
通过搜索,我发现可以通过在EMR群集主节点上编辑ssh config来解决此问题,但是由于EMR群集每次都是新的,因此我也必须每次都进行编辑。我很想知道是否还有更整洁的方法?