Question

我在服务器上运行了Spark SQL应用程序。它从.parquet文件中获取数据，并在每个请求中对这些数据执行SQL查询。我需要在响应中发送与查询输出相对应的JSON。

这就是我的工作

Dataset<Row> sqlDF = spark.sql(query);
sqlDF.show();

所以我知道查询有效。

我尝试返回sqlDF.toJSON().collect()，但在另一端我只收到[Ljava.lang.String;@1cd86ff9。

我尝试将sqlDF编写为JSON文件，但后来我不知道如何将其内容添加到响应中，并且它保存了与JSON文件无关的文件结构。

有任何想法/建议吗？

Answer 1

sapply(all_dfs, foo) %>% as.data.frame()

> sapply(all_dfs, foo) %>% as.data.frame()
                  .
col1.X1   -3.382353
col2.X1  -10.220588
col3.X1   -5.661765
col4.X1   -5.661765
col5.X1   -5.661765
col11.X1  -1.838235
col21.X1 -10.220588
col31.X1  -5.661765
col41.X1  -5.661765
col51.X1 -10.220588

从Spark SQL（java）中的数据集获取JSON

1 个答案: