Spark中的Mongoexport严格json加载

时间:2017-07-05 12:43:32

标签: json mongodb apache-spark mongoexport

我有一个使用mongoexport从mongodb导出数据的进程。 由于documentation提及所有json输出都处于严格模式

这意味着数据将如下所示:

 
"{amount":{"$numberLong":"3"},"count":{"$numberLong":"245"}}

我的Scala案例类定义为:

 
case class MongoData(amount: Long, count: Long)

读取数据当然会失败:

 
spark
      .read
      .json(inputPath)
      .as[MongoData]

有没有办法可以在没有严格模式的情况下从mongo导出,或者在Scala中导入json而无需手动将每个字段重组为适当的结构?

1 个答案:

答案 0 :(得分:1)

我现在用它作为解决方案。但感觉有些笨拙。

this.push.rx.notification()
          .subscribe((msg) => {
            console.log('I received awesome push: ' + msg);
          });