“Python”中的Spark Streaming自定义接收器(通过套接字接收UDP)

时间:2017-02-25 16:50:55

标签: python sockets apache-spark spark-streaming

编程指南提到在Spark流中,开发自定义接收器,可以用Java或Scala来完成 http://spark.apache.org/docs/latest/streaming-custom-receivers.html
但是,我想知道是否也可以用 Python 开发自定义接收器。

具体来说,我正在寻找的是通过 Python 中的套接字接收 UDP数据流。即将UDP格式的数据从设备传输到提到的IP地址,端口号,我想在Spark流媒体中接收它。如果通过TCP发送数据,简单代码工作正常,但不适用于UDP。

sc = SparkContext(appName="AppName")
ssc = StreamingContext(sc, 1)
RowsData = ssc.socketTextStream(address, PortNumber)

我问了一个类似的问题,但这是针对 Scala Spark Scala UDP receive on listening port

或者是不可能在python中创建自定义接收器或在Python + Spark_Streaming中接收UDP数据包?

0 个答案:

没有答案