从Lambda同时在EMR中提交Spark作业

Question

我的应用程序要求使用EMR spark Jobs实时处理数据。

我正在使用来自Lambda的EMR的addJobFlowSteps API，但这本质上是顺序的。

还有其他方法可以将Lambda中的作业提交给EMR吗？

Answer 1

您可以使用自定义'spark-submit'脚本。

我用这个：

cat /usr/bin/spark-submit-forked
#!/bin/bash

(nohup spark-submit "$@" > /dev/null 2>&1 &)