如何在没有Livy的情况下将Spark作业远程提交到Azure HDInsights群集

Question

我想从气流中将火花作业提交给蔚蓝的hdInsights群集，我不想使用livy，因为它不会在气流中积累日志。是否可以进行远程提交工作。 SSH是一种选择，但如果作业长时间运行，则可能会断开连接。还有其他选择吗？ 注意-气流群集是远程群集，它与spark群集不在同一位置。