Question

我在另一个文件流上使用了mapwithstate函数，然后在那个上做了一些操作。当我跟踪我的应用程序时，我发现mapwithstate函数之后只有2个部分用于mapped1 MapWithStateDStream ..我想知道我是否可以重新分配这个dstream ..我然后运行一些动作工作，所以它需要有更多的分区才能正确运行

代码如下

val join=ssc.textFilestream(..,..)
var mapped1=joined.mapWithState(stateSpec)//.persist(StorageLevel.MEMORY_ONLY_SER)

//mapped1=mapped1.repartition(100)..this line doesnt work 

mapped1.checkpoint(Duration(batchIntervalSeconds * 1000 * 1))

  mapped1.foreachRDD(_.count())

line mapped1 = mapped1.repartition（100）没有编译给我下面的不匹配错误

found   : org.apache.spark.streaming.dstream.DStream[(SIMPLE_KEY_JOINS, Long)]
[error]  required:    org.apache.spark.streaming.dstream.MapWithStateDStream[SIMPLE_KEY_JOINS,String,L   ong,(SIMPLE_KEY_JOINS, Long)]

任何帮助将不胜感激..

重新分区mapwithstateDstream

0 个答案: