更新Spark应用程序中使用的参考数据的最佳方法是什么？

Question

我有一个Spark应用程序，该应用程序使用的参考数据不那么频繁。此参考数据是从另一个REST端点获取的。目前，我每5分钟调用一次API以获取最新消息。我想在收到通知后立即获得最新消息。 在立即更改时更新此参考数据的最佳方法是什么？

Answer 1

1. 您可以将数据从其余端点泵送到Kafka。

2. 在scala或java或spark使用者中保留少量轻量级使用者代码 检查kafka中的最新消息。

3. 收到新消息后，您可以提交火花作业。