是否可以使用socketTextStream从运行在本地SparkContext数据中的Spark流应用程序从外部TCP服务器接收数据?例如,
sc = pyspark.SparkContext("local[2]", "app")
ssc = StreamingContext(sc, 0.5)
socketDstream = ssc.socketTextStream("XXX.XXXXXX.com", 30000)
使用标准插座可以正常工作
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(("XXX.XXXXXX.com", 30000))
data = recvall(s)
但是它在Spark中不起作用。
我将不胜感激。谢谢。