Question

我正在尝试访问存储在表格（镶木地板）中的json文件的嵌套属性。我可以访问该表的所有记录 select * from test;

但是，我无法通过编写查询来访问嵌套属性： val tab = sqlContext.sql（“select test，user.screen_name from test LIMIT 1”）

架构如下：

|-- text: string (nullable = true)
 |    |-- truncated: boolean (nullable = true)
 |    |-- user: struct (nullable = true)
 |    |    |-- created_at: string (nullable = true)
 |    |    |-- id: long (nullable = true)
 |    |    |-- id_str: string (nullable = true)
 |    |    |-- is_translator: boolean (nullable = true)
 |    |    |-- lang: string (nullable = true)
 |    |    |-- location: string (nullable = true)
 |    |    |-- name: string (nullable = true)
 |    |    |-- screen_name: string (nullable = true)

以下是我的代码：

import scala.tools.nsc.doc.model.Object
import scala.tools.nsc.interactive.Main
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.sql._
import org.apache.spark.sql.SQLContext


object SimpleSparkSQL {
 def main(args:Array[String]) {
val path = args(0);
val conf = new SparkConf().setAppName("Simple         Application").setMaster("local[2]").set("spark.executor.memory", "1g") 
val sc = new SparkContext(conf)
val data = sc.textFile(path)

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._

val sqlc = new SQLContext(sc)
val df = sqlc.read.json(data)

df.select("text",    "user.screen_name").write.format("parquet").save("staging.parquet")
val parquetFile = sqlContext.read.parquet("staging.parquet")
parquetFile.registerTempTable("test")
//= 514621627494322176  where user.screen_name='abyschan'
val tab= sqlContext.sql("select * from test LIMIT 1")
df.printSchema()
tab.collect().foreach{println}

  } 

}

注意：从测试中选择*工作正常，但是当我尝试选择user.screen_name（嵌套属性）时，我收到错误“无法解析user.screen_name”

Answer 1

根据您的架构，您应该选择text.user.screen_name。

Answer 2

我使用了以下查询，但它确实有效。

val tab = sqlContext.sql（“选择screen_name，通过screen_name DESC LIMIT 1从测试组中计数（文本）”

它仅使用screen_name工作，但不需要使用user.screen_name。由于我在镶木桌子上压平了json数据，因此不再需要'。'访问json的嵌套属性。

如何在spark sql

2 个答案: