如何将Spark响应转换为JSON对象

Question

val conf = new SparkConf().setAppName("test").setMaster("local")
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
val input = sqlContext.read.json("input.json")
input.select("email", "first_name").where("email=='donny54@yahoo.com'").show()

我得到以下回应

如何获得作为JSON对象的响应？

Answer 1

您可以将其写入Json File：get_user_model() [Django-doc]

或者，如果您希望将其显示为Json Strings的数据集，请使用toJSON函数：

input
  .select("email", "first_name")
  .where("email=='donny54@yahoo.com'")
  .toJSON()
  .show()