风暴与SQS和Cassandra插入不止一次

时间:2015-11-26 18:26:46

标签: amazon-web-services apache-storm amazon-sqs

我最近在AWS中试用了Apache Storm。我创建了一个SQS喷口,它从SQS读取并传递给Cassandra螺栓以插入到db。 当db插入成功时,将发回确认并从SQS中删除消息。但是当并行性提示增加时,会不止一次插入消息。可能是因为在确认回到spout之前,另一个线程已经从SQS读取了相同的消息。我该如何处理这种情况?如果没有并行性,速度就会很慢。

1 个答案:

答案 0 :(得分:0)

您可以在Amazon SQS中增加可见性超时属性。因此,在通过一个线程获取作业之后,在超时超过之前,其他线程将无法看到它。

查看以下视频以获取更多信息。 https://www.youtube.com/watch?v=rxnuioFAxac