我正在从kinesis流中读取数据,然后使用saveastextfile命令存储到HDFS中。我得到了输出记录,但计数不匹配。总输入记录数为1000,预计输出相同。但总是写不到100个。
splitCSV.foreachRDD(new VoidFunction2<JavaRDD<String[]>,Time>()
{
public void call(JavaRDD<String[]> rdd, Time time) throws Exception
{
...
}
...saveAsTextFile("/Selva")
}