带有自定义服务和Spark提交的AWS SQS

时间:2020-10-06 04:06:37

标签: python amazon-web-services amazon-sqs

我是AWS的新手,我正在尝试对我的应用程序使用以下方法。

在加载数据时,我们有一个数据集和SNS通知,一旦加载数据,我想执行一些操作。由于某些操作困难和数据大小,我无法使用lambda。 我们计划使用以下方法。

S3-> SNS-> SQS-> SQS消费者(自定义服务)-> Spark提交(具有步进功能的静态EMR)。

我能够执行S3-> SNS-> SQS,但是我不确定如何做其余的工作。 如果是lambda-我本可以使用SQS触发器,但是我不确定如何使用自定义服务来做到这一点。 请让我知道是否有任何文档或代码示例。

谢谢。

0 个答案:

没有答案