带有saveastextfile的spark流,给出不匹配记录计数

时间:2016-04-22 03:03:26

标签: apache-spark spark-streaming

我正在从kinesis流中读取数据,然后使用saveastextfile命令存储到HDFS中。我得到了输出记录,但计数不匹配。总输入记录数为1000,预计输出相同。但总是写不到100个。

splitCSV.foreachRDD(new VoidFunction2<JavaRDD<String[]>,Time>()
{
public void call(JavaRDD<String[]> rdd, Time time) throws Exception 
{
...

}
...saveAsTextFile("/Selva")

}

0 个答案:

没有答案