Question

我收到的两个套接字流S1和S2分别带有模式S1和S2。

我想使用spark streaming加入关于属性“a”的S1和S2。以下是我的代码：

    sc = SparkContext("local[3]", "StreamJoin")
    ssc = StreamingContext(sc, 1) 

    S1 = ssc.socketTextStream("localhost", 9999)
    S2 = ssc.socketTextStream("localhost", 8085)

    # Create windowed stream
    wS1 = S1.window(10)
    wS2 = S2.window(1)

    wS1.flatMap(lambda line: line.split(",")).pprint()
    wS2.flatMap(lambda line: line.split(",")).pprint()

    # Perform join
    joinedStream = wS1.join(wS2)

    joinedStream.foreachRDD(lambda rdd: rdd.foreach(lambda x: print(x)))

    ssc.start()             
    ssc.awaitTermination()

S1和S2都以逗号分隔。

虽然上面的代码执行连接，但是对于完整的行。

我有兴趣加入关于特定属性的两个流，在本例中属性为'a'。我怎么能做到这一点？

非常感谢！

Answer 1

join在spark中的工作方式是基于键连接rdd行，键是row [0]的值。所以你可以这样做：

wS1.flatMap(lambda line: line.split(",")).map(lambda x: (x[0], x)).pprint()
wS2.flatMap(lambda line: line.split(",")).map(lambda x: (x[0], x)).pprint()

然后将根据拆分列表的第一个元素完成连接。

文档参考：

https://spark.apache.org/docs/latest/api/python/pyspark.html?highlight=join#pyspark.RDD.join

使用Python进行Spark Streaming：针对特定属性加入两个流

1 个答案: