我想从.net应用程序中使用kafka。我使用.net创建了生产者和消费者。一切正常。
但是我必须使用kafka来实时处理文件。所以我有点困惑。我需要遵循什么架构以及如何设计kafka应用程序，即容错能力？
我有多个文件ID，并且文件可以随时随地出现在任意数量的文件中。所以我想使用哈希算法将kafka分区负载分配到其他分区中。
我搜索了很多次，但是没有获得在.net应用程序中使用此功能的应用程序或示例。
因此，请帮助我使用.net设计和实现所需的算法。
基本上，我们有给客户端的终结点（webservices），客户端按固定的时间间隔推送文件，我们有窗口服务，可以定期从db读取文件并解析文件以进行进一步处理。所有应用程序都在.net中。我们想将文件放入kafka中，使用者（窗口服务）将从kafka中读取文件。制片人将是我们的终点