使用socketTextStream从外部服务器接收TCP流

时间:2018-08-18 16:35:29

标签: python sockets tcp pyspark spark-streaming

是否可以使用socketTextStream从运行在本地SparkContext数据中的Spark流应用程序从外部TCP服务器接收数据?例如,

sc = pyspark.SparkContext("local[2]", "app")
ssc = StreamingContext(sc, 0.5)
socketDstream = ssc.socketTextStream("XXX.XXXXXX.com", 30000)

使用标准插座可以正常工作

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(("XXX.XXXXXX.com", 30000))
data = recvall(s)

但是它在Spark中不起作用。

我将不胜感激。谢谢。

0 个答案:

没有答案