flink可以使用固定数字键将数据流均匀设置为键控以避免数据偏斜吗？

Question

我通过30并行设置了密钥，如何找到30个唯一的密钥来使数据流成为密钥？flink支持吗？因为我不需要太多的密钥，并且我会将密钥作为influxdb中的标签，所以我不想太多的密钥，避免在influxdb中使用oom。但是我怎么能使用最小密钥均匀地按数据流进行密钥？ / p>

我想使用flink跟踪mysql中表的每个更改（例如更新/插入）。我将计算每个表每秒钟的更改时间。但是某些表的更改太多，以致于由于数据偏斜而导致键，所以我想使用固定数字键来通过流进行负载均衡。

Answer 1

从技术上讲可以，但是从您的问题中我了解到您实际上不需要使用keyBy()，而您只是想这样做以重新平衡流。在这种情况下，您可以轻松地在rebalance()上使用DataStream，这将导致使用循环算法对流进行分区，这实际上将导致负载平均分配。