AWS lambda函数提交spark作业

时间:2017-09-25 14:59:42

标签: apache-spark aws-lambda

我想在AWS lambda函数中使用Spark-sumit REST apis来提交jobs.I已查看Spark-Jobserver但看起来需要部署在\ n Ec2实例中,但我想提交作业使用AWS Lambda函数使用Spark REST接口。请建议。

1 个答案:

答案 0 :(得分:2)

您可以从lambda向EMR集群添加步骤。 Step可以是shell脚本,配置单元或spark作业。

有助于实现这一目标的功能是

emr.addJobFlowSteps(params, function(err, data)

我正在添加EMR上可用的api调用的链接 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html