标签: apache-spark directory
是否有一种在运行时将文件/文件夹发送给所有执行者的方法。
我有一项操作要求驱动程序在文件夹中创建一些索引(即文件)。然后,我想在所有节点上并行查询那些索引。因此,我想将文件夹分发到所有节点。 sc.addFile()无法使用,因为它不适用于群集环境中的本地文件夹。
除了使用HDFS或共享软件之外,还有其他选择吗?