我们有一个连接到Spark群集的Web应用程序,以在那里触发一些计算。它还在Spark执行器中缓存了大量数据。缓存。
为了满足高可用性要求,我们需要在不同的主机上运行2个Web应用程序实例。直截了当意味着第二个应用程序将触发另一组执行程序,这些执行程序将初始化它们自己的巨大缓存,与第一个应用程序完全相同。
理想情况下,我们希望在Spark中重用缓存,以满足我们应用程序的所有实例的需求。
我知道有可能使用Tachyon来外化执行者'缓存。目前正在探索其他选择
有没有办法允许同一个应用程序的多个实例连接到同一组Spark执行器?