处理kafka / storm中的GB数据

Question

1. 是否可以将Kafka / Storm中的GB数据作为单个消息处理？文件频率为30分钟。
2. 如果不可能如果我将消息分成1 MB，然后我可以在Kafka / Storm中处理它吗？
3. 我的文件采用SEGY格式（油/气域），我将通过storm调用bin可执行文件（用c ++编写）来处理这个文件。是否可以成功构建此文件格式的元组？

请帮忙。

Answer 1

您确定要使用Storm进行此处理吗？看起来像批处理应用程序可能更合适。

无论如何，您可能能够让它工作但我建议让您的喷口将数据分成更易于管理的块，这些块可以通过螺栓处理。