除了通过并行性提高效率之外,kafka分区的用途是什么?

时间:2015-09-24 08:05:11

标签: logging bigdata apache-kafka flume-ng

我正在使用kafka来收集日志,是否有其他分区优势,如果我们在主题中使用分区,我们可以稍后使用它来简化日志处理,

分区增加了并行性,这是在kafka主题中使用分区的一个优点。

1 个答案:

答案 0 :(得分:0)

为主题分区以提高效率并在多个磁盘和节点上分配数据总是更好。

我不这么认为,因此为您的处理创建多个分区将是您的处理问题,因为KAFKA负责处理具有多个分区的内部逻辑,您只需要拥有主题信息。

拥有多个分区可以提高吞吐量并减少延迟。