如何使用自定义接收器从实时源接收RDD而不是DStream的消息?

时间:2019-07-11 06:37:37

标签: scala apache-spark spark-streaming rdd custom-receiver

我想从实时消息源(当前为套接字)获取RDD,以替换用于从本地文件sc.newAPIHadoopFile()读取的代码行。为了维护项目的结构,我必须从该源获取RDD而不是DStream。我尝试实现自定义接收器,但是StreamingContext.receiverStream()仅给了我一个DStream。我该怎么办?

我尝试使用compute将DStream转换为RDD,但这没有任何意义,但是我失败了。因此,我转向发现如何通过接收器直接接收RDD。

0 个答案:

没有答案