标签: scala apache-spark spark-streaming rdd custom-receiver
我想从实时消息源(当前为套接字)获取RDD,以替换用于从本地文件sc.newAPIHadoopFile()读取的代码行。为了维护项目的结构,我必须从该源获取RDD而不是DStream。我尝试实现自定义接收器,但是StreamingContext.receiverStream()仅给了我一个DStream。我该怎么办?
sc.newAPIHadoopFile()
StreamingContext.receiverStream()
我尝试使用compute将DStream转换为RDD,但这没有任何意义,但是我失败了。因此,我转向发现如何通过接收器直接接收RDD。
compute