标签: spark-streaming
我正在编写一个带有在线流媒体数据的火花流媒体应用程序,与我向每个计算节点广播的基本数据相比。但是,由于基本数据每天更新,我也需要每天更新广播变量。基本数据驻留在hdfs。
有办法做到这一点吗?该更新与任何在线流式传输结果无关,只是说每天凌晨12:00。而且,如果有这样的方式,更新过程会阻止火花流计算工作吗?
答案 0 :(得分:2)
请参阅您引用的主题中的最后一个答案。摘要 - 不是发送数据,而是发送缓存代码以按需要的间隔更新数据