Question

我有一个包含10列的Spark Dataframe，我需要将它存储在Postgres / RDBMS中。该表有7列，第7列采用文本（JSON格式）进行进一步处理。

如何选择6列并将DF中的其余4列转换为JSON格式？

如果要将整个DF存储为JSON，那么我们可以使用DF.write.format（＆＃34; json＆＃34;），但只有最后4列需要采用JSON格式。

我尝试创建一个UDF（使用Jackson或Lift lib），但没有成功将4列发送到UDF。

对于JSON，DF列名称是关键，DF列的值是值。

例如：

dataset name: ds_base
root
 |-- bill_id: string (nullable = true)
 |-- trans_id: integer (nullable = true)
 |-- billing_id: decimal(3,-10) (nullable = true)
 |-- asset_id: string (nullable = true)
 |-- row_id: string (nullable = true)
 |-- created: string (nullable = true)
 |-- end_dt: string (nullable = true)
 |-- start_dt: string (nullable = true)
 |-- status_cd: string (nullable = true)
 |-- update_start_dt: string (nullable = true)

I want to do,
ds_base
 .select ( $"bill_id",
    $"trans_id",
    $"billing_id",
    $"asset_id",
    $"row_id",
    $"created",
    ?? <JSON format of 4 remaining columns>
    )

Answer 1

您可以使用struct和to_json：

import org.apache.spark.sql.functions.{to_json, struct}

to_json(struct($"end_dt", $"start_dt", $"status_cd", $"update_start_dt"))

作为旧版Spark版本的解决方法，您可以将整个对象转换为JSON并提取所需的内容：

import org.apache.spark.sql.functions.get_json_object

// List of column names to be kept as-is
val scalarColumns: Seq[String] = Seq("bill_id", "trans_id", ...)
// List of column names to be put in JSON
val jsonColumns: Seq[String] = Seq(
  "end_dt", "start_dt", "status_cd", "update_start_dt"
)

// Convert all records to JSON, keeping selected fields as a nested document
val json = df.select(
  scalarColumns.map(col _) :+ 
  struct(jsonColumns map col: _*).alias("json"): _*
).toJSON

json.select(
  // Extract selected columns from JSON field and cast to required types
  scalarColumns.map(c => 
    get_json_object($"value", s"$$.$c").alias(c).cast(df.schema(c).dataType)) :+ 
  // Extract JSON struct
  get_json_object($"value", "$.json").alias("json"): _*
)

只有拥有原子类型时，这才有效。或者，您可以使用标准JSON阅读器并为JSON字段指定模式。

import org.apache.spark.sql.types._

val combined = df.select(
  scalarColumns.map(col _) :+ 
  struct(jsonColumns map col: _*).alias("json"): _*
)

val newSchema = StructType(combined.schema.fields map {
   case StructField("json", _, _, _) => StructField("json", StringType)
   case s => s
})

spark.read.schema(newSchema).json(combined.toJSON.rdd)

Spark 2.0（不是2.1）数据集[Row]或Dataframe - 选择几列到JSON

1 个答案: