我是AWS的新手,我正在尝试对我的应用程序使用以下方法。
在加载数据时,我们有一个数据集和SNS通知,一旦加载数据,我想执行一些操作。由于某些操作困难和数据大小,我无法使用lambda。 我们计划使用以下方法。
S3-> SNS-> SQS-> SQS消费者(自定义服务)-> Spark提交(具有步进功能的静态EMR)。
我能够执行S3-> SNS-> SQS,但是我不确定如何做其余的工作。 如果是lambda-我本可以使用SQS触发器,但是我不确定如何使用自定义服务来做到这一点。 请让我知道是否有任何文档或代码示例。
谢谢。