KSQL:KSQL服务器重新启动后丢失Kstream数据

时间:2020-02-24 02:33:11

标签: apache-kafka confluent-platform ksqldb

我使用查询“使用(kafka-topic =“ myTopic”,format =“ avro”)创建流base_stream创建了一个流。该主题拥有800GB以上的数据,并且在不断增长。

问题:

  1. Kafka是否在新流中复制来自基础主题的数据?还是只是相同的数据?

  2. 重新启动KSQL服务器时,
  3. base_stream丢失了其数据。有什么办法可以保留这些数据?因为,如果每次KSQL服务器重新启动时都必须重新同步/重新创建base_stream,则可能要花费很多时间!

  4. 我知道可以从“ base_stream”创建持久流,但是,我们将在2个流中复制数据

感谢您的回复,谢谢!

1 个答案:

答案 0 :(得分:0)

我知道可以从“ base_stream”创建持久流,但是,我们将在2个流中复制数据

存储很便宜。我见过很多TB的主题。如果您能够随着时间的推移发出聚合窗口以减小大小,则可以在主题

上启用压缩和保留策略
重新启动KSQL服务器时,

base_stream丢失了其数据。有什么办法可以保留这些数据?

您在现有主题上创建了一个流。流中没有真正需要恢复或丢失的真实数据,这回答了问题1