从JavaDstream获取JavaRdd

Question

我正在构建一个web-app，我将twitter数据传输到JavaDStream然后将它们存储到kafka中。我想从JavaDStream获取JavaRdd并将这些Rdd存储到kafka服务器。但我无法弄清楚如何从Dstream获取Rdd。以下是我的推荐代码。

JavaDStream<String> statuses = twitterStream.map(
                new Function<Status, String>() {
                    public String call(Status status) { 
                        return status.getText();
                        }
                }
        );

有人可以建议吗？

Answer 1

我认为您不能直接将DStream转换为RDD，而是可以尝试使用foreachRDD方法查看doc 链接中的代码段

Apply a function to each RDD in this DStream. This is an output operator, so 'this' DStream will be registered as an output stream and therefore materialized.