我有两个Java应用程序(App1,App2)来测试如何从docker中的单个实例环境中的其他应用程序访问KTable
。
第一个App(App1)使用以下代码写入KTable
。
public static void main(String[] args)
{
final Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG,"gateway-service");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "172.18.0.11:9092");
props.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG,Serdes.String().getClass().getName());
props.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, ServiceTransactionSerde.class);
KStreamBuilder builder = new KStreamBuilder();
KStream<String,ServiceTransaction> source = builder.stream("gateway_request_processed");
KStream<String, Long> countByApi = source.groupBy((key,value)-> value.getApiId().toString()).count("Counts").toStream();
countByApi.to(Serdes.String(), Serdes.Long(),"countByApi");
countByApi.print();
final KafkaStreams streams = new KafkaStreams(builder,props);
streams.start();
System.out.println(streams.state());
System.out.println(streams.allMetadata());
System.out.println(streams.allMetadataForStore("countByApi"));
Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
@Override
public void run() {
System.out.println(streams.allMetadata());
streams.close();
}
}));
}
当我运行我的生产者时,我得到了App1
中代码的以下输出 RUNNING
[]
[]
[KTABLE-TOSTREAM-0000000006]: c00af5ee-3c2d-4d12-9c4b-3b55c1284dd6, 19
这显示我状态= RUNNING。商店的元数据也是空的。但是请求被处理并成功存储在KTable中(String,Long)。
当我运行kafka-topics.sh --list --zookeeper:2181
时
我得到以下主题。
bash-4.3# kafka-topics.sh --list --zookeeper zookeeper:2181
__consumer_offsets
countByApi
gateway-Counts-changelog
gateway-Counts-repartition
gateway-service-Counts-changelog
gateway-service-Counts-repartition
gateway_request_processed
这告诉我KTable以某种方式坚持使用新主题。
然后我有一个带有以下代码的secound命令行应用程序(App2),它试图访问此KTable
作为状态存储(ReadOnlyKeyValueStore
)并访问它。
public static void main( String[] args )
{
final Properties props = new Properties();
props.put(StreamsConfig.APPLICATION_ID_CONFIG, "gateway-service-table-client");
props.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "172.18.0.11:9092");
KStreamBuilder builder = new KStreamBuilder();
KafkaStreams streams = new KafkaStreams(builder,props);
streams.cleanUp();
streams.start();
System.out.println( "Hello World!" );
System.out.println(streams.state());
ReadOnlyKeyValueStore<String,Long> keyValueStore =
streams.store("countByApi", QueryableStoreTypes.keyValueStore());
final KeyValueIterator<String,Long> range = keyValueStore.all();
while(range.hasNext()){
KeyValue<String,Long> next = range.next();
System.out.println(String.format("key: %s | value: %s", next.key,next.value));
}
Runtime.getRuntime().addShutdownHook(new Thread(new Runnable() {
@Override
public void run() {
System.out.println(streams.allMetadata());
streams.close();
}
}));
}
当我运行2. App时,我收到错误消息:
RUNNING
Exception in thread "main" org.apache.kafka.streams.errors.InvalidStateStoreException: the state store, countByApi, may have migrated to another instance.
at org.apache.kafka.streams.state.internals.QueryableStoreProvider.getStore(QueryableStoreProvider.java:60)
at org.apache.kafka.streams.KafkaStreams.store(KafkaStreams.java:728)
at com.comp.streamtable.App.main(App.java:37)
不幸的是,我确实只有一个实例,而且我确认状态相同&#34; RUNNING&#34;。
注意:我必须为每个应用选择不同的application.id,因为这是另一个例外。只是想指出这一点,因为这可能是为了兴趣。
我在这里想念其他应用程序访问我的KTable?
答案 0 :(得分:3)
您对两个应用程序使用两个不同的Fizz
。因此,两个应用程序完全分离。
交互式查询是针对同一应用程序的不同实例而设计的,并且不适用于各种应用程序。
此博文可能有所帮助:https://www.confluent.io/blog/unifying-stream-processing-and-interactive-queries-in-apache-kafka/