风暴中的JPG PDF文件

时间:2015-08-09 17:18:52

标签: distributed distributed-computing apache-storm distributed-system

我想知道在Storm中操作JPG文件是否可行?如果JPG或PDF文件从一个螺栓到另一个螺栓传输,我们是否应该期待任何问题?我们正在大量操作这些文件,需要一个分布式平台才能跟上。

根据我的理解,消息(以及希望文件)进入螺栓之间的内存队列。

有没有人试图在Storm中的螺栓之间传递JPG或PDF文件?是否有任何限制会阻止其工作?如果不是Storm,任何人都可以推荐一个合适的平台吗?

感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

我从来没有尝试过这个,但我做了一些大型元组的实验,效果很好。我不指望有任何问题。只要你能提供适当的(de)序列化(最好通过Kryo),Storm就不关心它是什么数据。对于Storm,无论如何,一切都像一堆字节一样锁定(除了用于fieldsGrouping的关键属性)。

您还可以查看Apache Flink (免责声明:我是参与者)