Question

我需要修改数据以给CEP系统输入，我当前的数据如下所示

val rdd = {"var":"system-ready","value":0.0,"objectID":"2018","partnumber":2,"t":"2017-08-25 11:27:39.000"}

我需要输出

t = "2017-08-25 11:27:39.000
Check = { var = "system-ready",value = 0.0, objectID = "2018", partnumber = 2 }

如果有人建议更好的选择欢迎，我必须编写RDD地图操作来实现这一点。 colcount是列数。

rdd.map(x => x.split("\":").mkString("\" ="))                                                        
            .map((f => (f.dropRight(1).split(",").last.toString, f.drop(1).split(",").toSeq.take(colCount-1).toString))) 
            .map(f => (f._1, f._2.replace("WrappedArray(", "Check = {")))                                   
            .map(f => (f._1.drop(0).replace("\"t\"", "t"), f._2.dropRight(1).replace("(", "{")))              /
            .map(f => f.toString().split(",C").mkString("\nC").replace(")", "}").drop(0).replace("(", ""))    //  replacing , with \n, droping (
            .map(f => f.replace("\" =\"", "=\"").replace("\", \"", "\",").replace("\" =", "=").replace(", \"", ",").replace("{\"", "{"))

Answer 1

Scala的JSON解析器似乎是解决此问题的不错选择：

import scala.util.parsing.json

rdd.map( x => {
                JSON.parseFull(x).get.asInstanceOf[Map[String,String]]
        })

这将产生RDD[Map[String, String]]。然后，您可以从JSON访问t字段，例如，使用：

.map(dict => "t = "+dict("t"))

如何从RDD中的键中删除双引号并将JSON拆分为两行？

1 个答案: