如何在Spark Streaming中处理外部api重试调用

时间:2019-04-29 13:57:01

标签: java aws-lambda amazon-dynamodb spark-streaming apache-httpclient-4.x

我有一个事件丰富火花工作,在其中调用多个外部API(GET和POST请求)。它工作正常,但有时由于某些异常而导致请求失败时,我会遇到问题,那么我需要重试。

因此,当请求失败时,我需要重试,那么最好的方法是什么

  1. 在同一火花作业中重试=>问题:它可能长时间保持执行程序线程,这可能会降低性能。

  2. 在不同程序中处理失败的API意味着将事件发送到apiRetryProgram并使用api响应向事件添加额外的json块,然后再次发送到事件丰富工作。

我想使用第二种方法,所以请向我建议一些好的解决方法。

我正在使用火花流,运动学和其他AWS组件

0 个答案:

没有答案