Question

我正在使用kafka流为仓库中的物料创建汇总（总和）。
可以添加（例如，从供应商处购买）或删除（例如，已出售的项目）项目。
在该应用程序中，一个仓库可以服务多个商店，而公司有多个仓库。

在这种情况下，我需要使用两个字段对交易进行汇总和分组：项目名称和商店名称。

仅使用项目名称（一个字段）进行汇总很简单，但是如何使用其他分组（例如，每个商店每个项目的总库存）或（每个仓库，每个项目名称的每个仓库的总库存）？

我的代码（过于简化）

InventoryKafkaMessage.java

public class InventoryKafkaMessage {

    private String warehouseId;  // warehouse ID
    private String itemName;  // item name
    private long quantity;  // always positive
    private String type;  // ADD or REMOVE
    private String storeLocation; // store ID
    private long transactionTimestamp;
    // ... some others, but not relevant for this question
}

使用项目名称作为键将消息发送到源主题。

InventoryAggregatorStream.java
流是

        var inventorySerde = new JsonSerde<>(InventoryKafkaMessage.class);
        var sourceStream = builder.stream("supplychain-warehouse-inventory", Consumed.with(Serdes.String(), inventorySerde));

        // aggregating by key (item name)
        logisticStream.mapValues((k, v) -> v.getType().equalsIgnoreCase("ADD") ? v.getQuantity() : -1 * v.getQuantity())
                .groupByKey()
                .aggregate(() -> 0l, (aggKey, newValue, aggValue) -> aggValue + newValue,
                        Materialized.with(Serdes.String(), Serdes.Long()))
                .toStream().to("stream-supplychain-wharehouse-inventory-total", Produced.with(Serdes.String(), Serdes.Long()));

Answer 1

要对多个属性进行分组，可以定义包含两个属性的组合类型并将其设置为键。例如，您可以定义类型：

public class GroupingKey {
  private String warehouseId;
  private String itemName;

  public GroupingKey(String warehouseId, String itemName) {
    // set fields
  }
  // etc
}

// usage:

sourceStream = builder.stream("supplychain-warehouse-inventory",
                              Consumed.with(Serdes.String(), inventorySerde));
newKeyStream = sourceStream.selectKey((k, v) -> new GroupingKey(v.warehouseId, v.itemName));

newKeyStream.groupByKey()...

Kafka流按两个字段聚合

1 个答案: