从C *到带有JSON的DataFrames

时间:2017-02-10 19:24:33

标签: scala apache-spark cassandra spark-cassandra-connector

我正在努力(Spark / Scala新手)实现以下转换,将json转换为列。

e.g。来自C *表

===================================
| id | jsonData                   |
===================================
| 1  |  {"a": "123", "b": "xyz" } |
+----+----------------------------+
| 2  |  {"a": "3", "b": "bar" }   |
-----------------------------------

到Spark DataFrame:

==================
| id |  a  |  b  |
==================
| 1  | 123 | xyz |
+----+-----+-----+
| 2  | 3   | bar |
------------------

我正在使用Spark 1.6和Scala 2.10。

更新:我不知道JSON的密钥名称(或很多)。

0 个答案:

没有答案