我想在AWS lambda函数中使用Spark-sumit REST apis来提交jobs.I已查看Spark-Jobserver但看起来需要部署在\ n Ec2实例中,但我想提交作业使用AWS Lambda函数使用Spark REST接口。请建议。
答案 0 :(得分:2)
您可以从lambda向EMR集群添加步骤。 Step可以是shell脚本,配置单元或spark作业。
有助于实现这一目标的功能是
emr.addJobFlowSteps(params, function(err, data)
我正在添加EMR上可用的api调用的链接 http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/EMR.html