我正在使用kafka_2.10-0.10.0.1。我有两个问题: - 我想知道如何修改Kafka的默认配置来处理大量具有良好性能的数据。 - 是否可以将Kafka配置为处理内存中的记录而不存储在磁盘中? 谢谢
答案 0 :(得分:1)
是否可以将Kafka配置为处理内存中的记录而不存储在磁盘中?
没有。 Kafka就是将记录可靠地存储在磁盘上,然后快速从磁盘上读回来。事实上,its documentation says:
由于认真对待存储并允许客户端控制其读取位置,您可以将Kafka视为一种专用于高性能,低延迟提交日志存储,复制和传播的专用分布式文件系统
您可以在此处详细了解其设计:https://kafka.apache.org/documentation/#design。实施部分也非常有趣:https://kafka.apache.org/documentation/#implementation。
也就是说,Kafka也在处理大量具有良好性能的数据。在2014年,它可以在三个廉价实例上处理每秒200万次写入:https://engineering.linkedin.com/kafka/benchmarking-apache-kafka-2-million-writes-second-three-cheap-machines。有关绩效的更多链接: