每个分区的每个Kafka用户使用多线程

Question

我正在探索设计Google规模的爬虫的方法，因此正在探索使用Kafka的解决方案。

最近，我了解到Kafka分区的数量限制为数千个，并且不会扩展到该数量。并且众所周知，每个分区（有或没有使用者组）只有一个线程。

我的问题是如何使用成千上万的并行工作人员来构建高性能的搜寻器。

1. 一种可能的解决方案是使数百个主题以及数千个分区和使用者（数量相等）。
2. 或为每个分区使用者提供一个线程池，如下图所示

是否可以纠正/提出与Kafka兼容的完美设计？