火花流媒体广播变量每日更新

时间:2016-02-15 06:58:43

标签: spark-streaming

我正在编写一个带有在线流媒体数据的火花流媒体应用程序,与我向每个计算节点广播的基本数据相比。但是,由于基本数据每天更新,我也需要每天更新广播变量。基本数据驻留在hdfs。

有办法做到这一点吗?该更新与任何在线流式传输结果无关,只是说每天凌晨12:00。而且,如果有这样的方式,更新过程会阻止火花流计算工作吗?

1 个答案:

答案 0 :(得分:2)

请参阅您引用的主题中的最后一个答案。摘要 - 不是发送数据,而是发送缓存代码以按需要的间隔更新数据

  1. 创建每天更新的CacheLookup对象@ 12 am
  2. 将其包裹在广播变量
  3. 使用CacheLookup作为流逻辑的一部分
相关问题