将kafka日志移动到另一个代理

时间:2016-05-31 11:49:27

标签: apache-kafka event-sourcing

是否可以将kafka代理上的日志移动到其他代理?

我使用kafka作为事件存储(正如他们网站上所建议的那样)所以我不会删除日志,我想知道如果我的经纪人填写是否可以将日志移动到另一个经纪人up(当我展开群集时)。

此外,当我正确理解来自已移动分区的旧数据保留在其原始代理上时,如果添加了新代理并为其分配了分区 - 这意味着如果添加了一个新消费者,并且希望从中消费一开始他可能没有按正确的顺序得到事件 - 如果日志可以移动,我可以解决这个问题。

我知道分区是可移动的,但如果我理解正确,旧数据就不会被移动。

谢谢。

1 个答案:

答案 0 :(得分:0)

您是否尝试增加log.index.size.max.bytes的{​​{1}}值?您可以查看Broker Configs(也可以考虑更改Broker Config& log.segment.bytes

我不确定您是否能够将日志文件从一个代理移动到另一个代理。但是为什么你必须这样做,因为日志文件是指那些正在发生的事情。

检查所有log.retention.size相关配置属性over here