Question

Spark 2.1和Scala 2.11。我有一个大的Map[String,Date]，其中包含10K键/值对。我还有10K JSON文件存在于Spark可访问的文件系统中：

mnt/
    some/
        path/
            data00001.json
            data00002.json
            data00003.json
            ...
            data10000.json

地图中的每个KV对对应于其各自的JSON文件（因此第一个地图KV对对应于data00001.json等。）

我希望将所有这些JSON文件读入1个大型Spark Dataset，并且在我使用它时，向该数据集添加两个新列（JSON文件中不存在）。每个映射键都是第一个新列的值，每个键的值将是第二个新列的值：

val objectSummaries = getScalaList()
val dataFiles = objectSummaries.filter { _.getKey.endsWith("data.json") }
val dataDirectories = dataFiles.map(dataFile => {
  val keyComponents = dataFile.getKey.split("/")
  val parent = if (keyComponents.length > 1) keyComponents(keyComponents.length - 2) else "/"
  (parent, dataFile.getLastModified)
})

// TODO: How to take each KV pair from dataDirectories above and store them as the values for the
// two new columns?
val allDataDataset = spark.read.json("mnt/some/path/*.json")
  .withColumn("new_col_1", dataDirectories._1)
  .withColumn("new_col_2", dataDirectories._2)

我已经确认，当我删除mnt/some/path/*.json方法并执行withColumn时，Spark将遵循通配符（allData.show()）并将所有JSON文件读入单个数据集。所以我在那里都很好。

我正在努力的是：<strong>如何添加两个新列，然后正确地拔出所有键/值地图元素？

Answer 1

如果我理解正确，你想要将地图中的KV与json文件中的数据帧相关联。

我会尝试将问题简化为仅3个文件和3个键值。

val kvs = Map("a" -> 1, "b" -> 2, "c" -> 3)
val files = List("data0001.json", "data0002.json", "data0003.json")

定义一个案例类，用于处理更简单的文件，键，值

case class FileWithKV(fileName: String, key: String, value: Int)

将压缩文件和kvs

val filesWithKVs = files.zip(kvs)
  .map(p => FileWithKV(p._1, p._2._1, p._2._2))

看起来像这样

filesWithKVs: List[FileWithKV] = List(FileWithKV(data0001.json,a,1), FileWithKV(data0002.json,b,2), FileWithKV(data0003.json,c,3))

我们从一个初始数据框开始，从我们的集合开头，然后开始向左折叠以构建将保存所有文件的整个数据框，所有列都是从KV动态生成的

val head = filesWithKVs.head
val initialDf = spark
.read.json(head.filename)
.withColumn(s"new_col_1", lit(head.key)) 
.withColumn(s"new_col_2", lit(head.value))

现在折叠部分

val dfAll = filesWithKVs.tail.foldLeft(initialDf)((df, fileWithKV) => {
    val newDf = spark
    .read.json(fileWithKV.filename)
    .withColumn(s"new_col_1", lit(fileWithKV.key)) 
    .withColumn(s"new_col_2", lit(fileWithKV.value))
    // union the dataframes to capture file by file, key value with key value
    df.union(newDf)
})

数据框看起来像这样，假设在json文件中将是一个名为bar的列和一个值为foo的列，对于每个3个json文件

+---+----------+----------+
|bar|new_col_1 |new_col_2 |
+---+----------+----------+
|foo|         a|         1|
|foo|         b|         2|
|foo|         c|         3|
+---+----------+----------+

Answer 2

我认为您应该为此创建自己的数据源。这个新的数据源将了解您的特定文件夹结构和内容结构。

将JSON文件读入Spark数据集并从单独的Map添加列

2 个答案: