Question

我有一个带有JSON的Kafka流媒体源，例如{"type":"abc","1":"23.2"}。

查询给出以下异常：

org.apache.spark.sql.catalyst.parser.ParseException:  extraneous
input '.1' expecting {<EOF>, .......}
 == SQL == 
person.1

访问"person.1"的正确语法是什么？

我什至将DoubleType更改为StringType，但这也不起作用。仅保留person.type并删除person.1中的selectExpr即可使示例工作正常：

val personJsonDf = inputDf.selectExpr("CAST(value AS STRING)")
val struct = new StructType()
  .add("type", DataTypes.StringType)
  .add("1", DataTypes.DoubleType)
val personNestedDf = personJsonDf
  .select(from_json($"value", struct).as("person"))
val personFlattenedDf = personNestedDf
  .selectExpr("person.type", "person.1")
val consoleOutput = personNestedDf.writeStream
  .outputMode("update")
  .format("console")
  .start()

Answer 1

我已经通过使用person.*

解决了这个问题

+-----+--------+
|type | 1      |
+-----+--------+
|abc  |23.2    |
+-----+--------+

Answer 2

有趣的是，由于select($"person.1")应该可以正常工作（但是您使用的selectExpr可能会混淆Spark SQL）。

StructField(1,DoubleType,true)不起作用，因为类型实际上应该是StringType。

让我们看看...

$ cat input.json
{"type":"abc","1":"23.2"}

val input = spark.read.text("input.json")
scala> input.show(false)
+-------------------------+
|value                    |
+-------------------------+
|{"type":"abc","1":"23.2"}|
+-------------------------+

import org.apache.spark.sql.types._
val struct = new StructType()
  .add("type", DataTypes.StringType)
  .add("1", DataTypes.StringType)
val q = input.select(from_json($"value", struct).as("person"))
scala> q.show
+-----------+
|     person|
+-----------+
|[abc, 23.2]|
+-----------+

val q = input.select(from_json($"value", struct).as("person")).select($"person.1")
scala> q.show
+----+
|   1|
+----+
|23.2|
+----+

如何访问嵌套模式列？

2 个答案: