下午全部,
我试图在SchemaRDD上调用一些Spark SQL,然后将结果存储在RDD中。下面的行产生了预期的值,所以我知道SQL正在生成正确的表。现在我只需要存储它。
console.log
答案 0 :(得分:1)
sqlContext.sql
提供DataFrame
,您可以致电.rdd()
获取RDD[Row]
。
你可以试试这个:
val queryResult = sqlContext.sql("select encounter.Member_ID AS patientID, encounter.Encounter_DateTime AS date, diag.code from encounter join diag on encounter.Encounter_ID = diag.Encounter_ID")
val rdd: RDD[Row] = queryResult.rdd
删除
show
上的DataFrame
功能,因为显示了该功能 DataFrame到stdout的内容