来自端口的Apache Beam输入

时间:2018-08-14 22:31:07

标签: python apache-beam apache-beam-io

[Python-Beam SDK]

我希望能够在集成测试中测试时序问题,因此我想构建一个生成器系统,以指定的时间戳将消息通过管道传递到我的Beam应用程序中。我当前的想法是将应用程序写入端口(每个我想听的流一个端口),然后让Beam应用程序监听这些端口(与监听Kafka主题的方式相同)。

Beam是否已经有能力将端口作为源进行监听?如果没有,那么做到这一点的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

我对[Java SDK]的经验

以我的方式看,SocketIIO.read()实现应该只向后发出String(或byte [])。因此,创建一个打开端口的PTransform,然后在expand()方法上创建一个循环以仅读取String(或byte []),然后将值发送到管道中(返回PColletion)。

希望它能给您一个想法。