在Kafka Streams应用程序中更新本地状态存储库

时间:2018-06-19 05:34:38

标签: apache-kafka apache-kafka-streams

我在Kafka中有一个日志压缩主题,我正在KTable中阅读并创建一个商店。每当我更新键控消息时,我都不会在应用程序运行时看到最新状态。但是当我重新启动流应用程序时,我能够看到更新的状态。如何在不重新启动的情况下运行流应用程序时获取更新状态。

这里是我用来迭代状态值的代码(在main函数中)。

final String queryableStore = metaTable.queryableStoreName();

    ReadOnlyKeyValueStore<String,String> metaTableView = null;
    try {
        metaTableView = waitUntilStoreIsQueryable(queryableStore,QueryableStoreTypes.keyValueStore(),streams);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    metaTableView.all().forEachRemaining(row -> logger.info("Key: "+row.key+" Value: "+row.value));

1 个答案:

答案 0 :(得分:3)

不确定如何运行代码。但是,如果我理解正确,您希望logger.info打印每个更新?如果是这种情况,那么这将不起作用,因为.all()遍历KTable一次并在之后终止。请注意,您在代码示例中使用的“交互式查询”是为一次性查找而设计的。您需要在自己的代码中重新运行查询 - 当然,每次都会得到所有记录。

如果您想连续获取KTable更新(并且只需要更新),则需要直接使用KTable。例如,你可以做

KTable table = builder.table(...);
table.toStream().foreach(...);

对KTable的每次更新都将生成由foreach()处理的输出记录。注意记录缓存;您可能希望禁用缓存以获取所有更新,否则,某些更新可能不会被转发,因为它们会受到缓存。