如何修改Kafka的配置来处理大量数据

时间:2018-01-29 20:41:24

标签: apache-kafka

我正在使用kafka_2.10-0.10.0.1。我有两个问题: - 我想知道如何修改Kafka的默认配置来处理大量具有良好性能的数据。 - 是否可以将Kafka配置为处理内存中的记录而不存储在磁盘中? 谢谢

1 个答案:

答案 0 :(得分:1)

  

是否可以将Kafka配置为处理内存中的记录而不存储在磁盘中?

没有。 Kafka就是将记录可靠地存储在磁盘上,然后快速从磁盘上读回来。事实上,its documentation says

  

由于认真对待存储并允许客户端控制其读取位置,您可以将Kafka视为一种专用于高性能,低延迟提交日志存储,复制和传播的专用分布式文件系统

您可以在此处详细了解其设计:https://kafka.apache.org/documentation/#design。实施部分也非常有趣:https://kafka.apache.org/documentation/#implementation

也就是说,Kafka也在处理大量具有良好性能的数据。在2014年,它可以在三个廉价实例上处理每秒200万次写入:https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines。有关绩效的更多链接: