我使用查询“使用(kafka-topic =“ myTopic”,format =“ avro”)创建流base_stream创建了一个流。该主题拥有800GB以上的数据,并且在不断增长。
问题:
Kafka是否在新流中复制来自基础主题的数据?还是只是相同的数据?
base_stream丢失了其数据。有什么办法可以保留这些数据?因为,如果每次KSQL服务器重新启动时都必须重新同步/重新创建base_stream,则可能要花费很多时间!
我知道可以从“ base_stream”创建持久流,但是,我们将在2个流中复制数据
感谢您的回复,谢谢!
答案 0 :(得分:0)
我知道可以从“ base_stream”创建持久流,但是,我们将在2个流中复制数据
存储很便宜。我见过很多TB的主题。如果您能够随着时间的推移发出聚合窗口以减小大小,则可以在主题
上启用压缩和保留策略重新启动KSQL服务器时,base_stream丢失了其数据。有什么办法可以保留这些数据?
您在现有主题上创建了一个流。流中没有真正需要恢复或丢失的真实数据,这回答了问题1