Kafka Streams:线程与CPU内核

时间:2018-08-17 19:12:37

标签: apache-kafka apache-kafka-streams

如果该计算机具有16个内核,并且如果我们在配置中定义6个线程,那么Kafka Streams是否会使用6个内核,或者所有线程都只能在单个内核上运行,还是无法控制这些内核?

1 个答案:

答案 0 :(得分:0)

认为这种方法和涉及多个因素是错误的

如果将任务定义为6,则意味着该主题有6个分区,将由kafka使用者或连接器并行使用。

如果您有16个内核,并且没有其他进程在运行,则很有可能会按预期执行它。

这不是正常的生产场景,在该场景中,我们有多个主题(具有多个分区)使您的理论无效。

您应该具有基于使用者的任务,而机器应该只有工人。 一旦满足上述条件,我们就可以对该数据进行性能测试

  • 处理5万条记录需要花费多少时间?
  • 什么是预计时间?
  • 我们可以根据上述基本参数来升级系统。