如何使用spark将任意地图写入parque

时间:2016-04-08 15:06:11

标签: json apache-spark apache-spark-sql parquet

我将使用spark解析一堆json对象,然后将它们写入镶木地板以便稍后进行搜索和分析。大多数json都有一个直接映射到镶木地板的常规模式,但有一个部分,我有一个数据对象,可以有任意字段和任意数据类型的值。

对于如何处理这个有什么想法吗?我不能在数据帧中放置Map [String,Any]。

0 个答案:

没有答案