DoFn中的HTTP客户端

时间:2017-11-28 21:21:21

标签: http google-cloud-dataflow apache-beam apache-beam-io

我想通过DoFn为在Dataflow上运行的Apache Beam Pipeline发出POST请求。

为此,我创建了一个客户端,用于实现在PoolingHttpClientConnectionManager上配置的HttpClosableClient。

但是,我为我处理的每个元素设置了一个客户端。

我如何设置我所有元素使用的持久客户端?

我应该使用并行和高速HTTP请求的其他类吗?

1 个答案:

答案 0 :(得分:4)

您可以将客户端放入成员变量,使用@Setup方法打开它,然后@Teardown关闭它。在Beam中几乎所有IO的实现使用这种模式,例如,见JdbcIO