有没有办法重新分配持久数据集复制?

时间:2019-03-29 07:55:52

标签: apache-spark apache-spark-sql

我有一个持久的数据集MEMORY_AND_DISK_2,我使用复制因子来避免特定节点死亡时出现问题。 当节点死亡时,集群管理器会自动产生一个新节点,但是持久化数据集不会复制到该节点中。 我想知道是否有一种方法可以告诉数据集重新评估块复制,而不必取消持久化并再次持久化

在纱线上运行的

spark 2.3

0 个答案:

没有答案