是否可以将kafka代理上的日志移动到其他代理?
我使用kafka作为事件存储(正如他们网站上所建议的那样)所以我不会删除日志,我想知道如果我的经纪人填写是否可以将日志移动到另一个经纪人up(当我展开群集时)。
此外,当我正确理解来自已移动分区的旧数据保留在其原始代理上时,如果添加了新代理并为其分配了分区 - 这意味着如果添加了一个新消费者,并且希望从中消费一开始他可能没有按正确的顺序得到事件 - 如果日志可以移动,我可以解决这个问题。
我知道分区是可移动的,但如果我理解正确,旧数据就不会被移动。
谢谢。
答案 0 :(得分:0)
您是否尝试增加log.index.size.max.bytes
的{{1}}值?您可以查看Broker Configs(也可以考虑更改Broker Config
& log.segment.bytes
。
我不确定您是否能够将日志文件从一个代理移动到另一个代理。但是为什么你必须这样做,因为日志文件是指那些正在发生的事情。
检查所有log.retention.size
相关配置属性over here。