作为Kafka消费者的自动缩放工人/守护进程

Question

我们计划在Java中使用Kafka使用者作为守护进程，它需要嗅探Kafka的消息，但是想知道我们如何自动调整这个守护进程。请为此建议最好的设计

通过这个AWS工作人员，这是一个很好的解决方案吗？

Answer 1

我假设您正在谈论EBS工作者环境。在卡夫卡的情况下，EBS工作者环境在SQS上工作将无济于事。

对于为kafka队列定义的使用者，您需要定义自定义自动缩放策略。除了由ec2指标，云计算和ASG驱动的开箱即用扩展外，您可能还需要向云计算发布更多指标，这将允许您定义自动缩放的触发器。使用cloudwatch警报，您可以配置可以执行自动缩放的支持lambda函数。 当然，上面只是实现扩展的简化方法，您可以实现适合您环境的东西。

队列长度（消息消耗率）是一个考虑扩展的好指标，您应该规定在队列长度上进行扩展。这应该是基于CPU，IO和其他标准进行扩展的补充。