标签: scala apache-spark databricks
如果我们有一个包含多个子文件夹的文件夹,则可以使用sc.textFile("folder/*/*.txt)来读取文件夹中的文本文件,但是如果我们不确定子文件夹的级别,如何从文件夹和子文件夹递归读取文件有火花吗?
sc.textFile("folder/*/*.txt)
我尝试使用sc.textFile("folder/**/*.txt),但是它不起作用,并且仅采用立即嵌套的文件夹,而不是所有子文件夹(级别)。
sc.textFile("folder/**/*.txt)