企业应用程序之间的大数据传输

Question

在企业应用程序中发布大数据以进行处理的最佳方法是什么？

数据

1. 的大小最高为1 GB数据
2. 消费时，可以移除（如果已处理）;不需要坚持下去。

我们可以查看JMS技术/ Kafka Cluster来接收和分发数据吗？数据必须完全消费，只能用于数据，并且不能在多个消费者之间共享（分区）。

可以探索哪些其他选项？

Answer 1

Apache KAFKA更适用于处理实时数据流而非大数据传输。消息也不会删除，而是提交。也正是一旦你需要实施处理。 KAFKA本身并不是JTA意识到的。我建议不要使用大邮件大小。

无论您使用何种其他排队技术，您都需要使用小于1GB的邮件大小（即您需要将数据分块并重新组装或使您的处理流而不是批量处理）。