Question

我有一个像这样的执行图：

{"nodes":[{"id":1,"type":"Source: AggregatedData","pact":"Data Source","contents":"Source: AggregatedData","parallelism":1},{"id":2,"type":"AddVirtualKeyFunction","pact":"Operator","contents":"AddVirtualKeyFunction","parallelism":4,"predecessors":[{"id":1,"ship_strategy":"REBALANCE","side":"second"}]},{"id":3,"type":"Source: FilterInformation","pact":"Data Source","contents":"Source: FilterInformation","parallelism":1},{"id":4,"type":"BroadcastFilterInformation","pact":"Operator","contents":"BroadcastFilterInformation","parallelism":1,"predecessors":[{"id":3,"ship_strategy":"FORWARD","side":"second"}]},{"id":7,"type":"ConnectAndApplyFilterFunction","pact":"Operator","contents":"ConnectAndApplyFilterFunction","parallelism":4,"predecessors":[{"id":2,"ship_strategy":"HASH","side":"second"},{"id":4,"ship_strategy":"HASH","side":"second"}]},{"id":8,"type":"Sink: OutputFilteredData","pact":"Data Sink","contents":"Sink: OutputFilteredData","parallelism":4,"predecessors":[{"id":7,"ship_strategy":"FORWARD","side":"second"}]}]}

（可以在这里看到：https://flink.apache.org/visualizer/）

我有一个聚合数据流（“AggregatedData”，ID = 1），需要通过来自另一个流的某个过滤器（“FilterInformation”，ID = 3）进行过滤。

我首先在我的“ConnectAndApplyFilterFunction”（ID = 7）中使用运算符状态，这在技术上工作正常，但仅限于1的并行性。

目前，我正在做一些黑客攻击：在“AddVirtualKeyFunction”中，我将聚合数据映射到Tuple2<Integer, AggregatedData>，其中整数（f0）是从0到19的随机生成的数字：

@Override
public Tuple2<Integer, AggregatedData> map(AggregatedData value) throws Exception {
    return new Tuple2<>(ThreadLocalRandom.current().nextInt(this.virtualKeyCount), value);
}

“BroadcastFilterInformation”是一个flatMap，每次收到新的FilterInformation时都会发布Tuple2<Integer, FilterInfo> 20次（f0 0-19）：

@Override
public void flatMap(FilterInfo filterInfo, Collector<Tuple2<Integer, FilterInfo>> collector) throws Exception {
    if (this.currentLatestTimestamp < filterInfo.getLastUpdateTime()) {
        this.currentLatestTimestamp = filterInfo.getLastUpdateTime();

        for (int i = 0; i < this.broadcastCount; i++) {
            collector.collect(new Tuple2<>(i, filterInfo));
        }
    }
}

我现在连接两个流并通过他们的“虚拟密钥”（Tuple2.f0）对其进行键入。我在“ConnectAndapplyFilterFunction”（ID = 7）中将FilterInfo的20份副本保存在键控状态。

工作正常，我可以在主路径上使用并行性。但为什么我使用20“虚拟键”而我的并行度只有4？因为只有4个键，所以不会使用所有操作符（2个操作符在我的测试中没有接收到任何数据）。

有什么方法可以从一个流中广播一些数据，以便另一端的每个操作员都能收到它自己的副本？

Answer 1

您最有可能使用broadcast选项将数据提供给操作中的其他实例。

如果是批处理，您可以使用Broadcast variables，根据链接的网站描述如下，在那里也可以找到相应的示例：

广播变量允许您为所有人提供数据集除了常规输入之外，操作的并行实例的操作。这对辅助数据集很有用，或者数据相关的参数化。然后可以访问该数据集在运营商处作为收藏品。

如果是流处理，您可以添加datastream.broadcast()以将流广播到另一个。

根据flink website - 广播功能 - 将元素（从一个流）广播到每个分区。

在流处理场景中，您需要提醒自己需要考虑竞争条件，因为来自任一流的数据可以按任何顺序排列。

可以检出示例代码here

Flink（1.3.2）向每个运营商播放一次正确的记录

1 个答案: