Question

我有代码来创建数据框，如果我的输入数据中没有数组，这可以正常工作。

我尝试使用没有数组的Json数据并且运行成功。我的代码是

val vals = sc.parallelize(
  """{"id":"1","name":"alex"}""" ::
  Nil
)

val schema = (new StructType)
      .add("id", StringType)
      .add("name", StringType)


  sqlContext.read.schema(schema).json(vals).select($"*").printSchema()

我的问题是，如果我使用下面的数组输入数据，那么如何创建模式？

     val vals = sc.parallelize(
  """{"id":"1","name":"alex","score":[{"keyword":"read","point":10}]}""" ::
  Nil
)


val schema = (new StructType)
      .add("id", StringType)
      .add("name", StringType)

感谢。

Answer 1

哦，我可以在我的代码中找到解决方案。

在数据框中创建数组中的模式可以激活此代码。

val vals = sc.parallelize(
  """{"id":"1","name":"alex","score":[{"keyword":"read","point":10}]}""" ::
  Nil
)

val schema = StructType(
      Array(
        StructField("id", StringType),
        StructField("name", StringType),
        StructField("score", ArrayType(StructType(Array(
          StructField("keyword", StringType),
          StructField("point", IntegerType)
        ))))
      )
    )

并打印架构

sqlContext.read.schema(schema).json(vals).select($"*").printSchema()

谢谢已解决

如何使用spark在数据框中创建模式数组

1 个答案: