将列表传递给sc.textFile -scala-

Question

我正在寻找如何在不使用sc.textFile的情况下将路径列表传递给foreach（在scala中）。

示例：

myList :Seq[String] = ArrayBuffer (path1, path2, path3)

有办法吗？

var data = sc.textFile(myList)

Answer 1

尝试

union

或者，我们可以阅读每个文本文件，然后import scala.util.{Try, Success} val rdds = myList.flatMap { f => Try(sc.textFile(f)) match { case Success(rdd) => Some(rdd) case _ => None } } val rdd = sc.union(rdds) 生成的rdds：

"ionic-native": "^3.5.0"