在Spark和Scalding中读写json

时间:2016-01-04 16:32:08

标签: json hadoop apache-spark scalding

我试图以json形式写一个烫金流的输出,并在Spark中读取它。这工作正常,除非json包含带有新行的字符串。输出是每行一个json对象,json上的值中的换行符导致一行json在两行中被分段。因此,当我读到Spark的行时,我无法对其中的一些进行反序列化。有没有一种标准的方法可以解决这个问题?

0 个答案:

没有答案