Spark键/值对问题

时间:2016-09-25 21:46:43

标签: scala apache-spark bigdata

如何迭代一个假设有Array[Array[String]]的键的值。我有一个密钥k,在使用Array[Array[String]]读取文件后,其值为sc.wholetextfiles格式。如何迭代每个键的值以逐行读取值

1 个答案:

答案 0 :(得分:1)

看起来你需要这样的东西:

textFilesData.values.map(doubleArray => doubleArray.flatten.map(line=> ...))

虽然,我们需要知道您确切的数据类型,因为您的问题仍然有点模糊,并且可以使用更具体的细节来获得更好的答案。