标签: logging bigdata apache-kafka flume-ng
我正在使用kafka来收集日志,是否有其他分区优势,如果我们在主题中使用分区,我们可以稍后使用它来简化日志处理,
分区增加了并行性,这是在kafka主题中使用分区的一个优点。
答案 0 :(得分:0)
为主题分区以提高效率并在多个磁盘和节点上分配数据总是更好。
我不这么认为,因此为您的处理创建多个分区将是您的处理问题,因为KAFKA负责处理具有多个分区的内部逻辑,您只需要拥有主题信息。 拥有多个分区可以提高吞吐量并减少延迟。