风暴hdfs如何写入不同的文件路径

Question

我不明白我会怎么做这个

例如，我有一个螺栓A，经过一些计算后有somevalue1，somevalue2和somevalueX。

它希望像这样发送到hdfs：

somevalue1 -> /somevalue1/path-hdfs/somevalue1.txt

somevalue2 -> /somevalue2/path-hdfs/somevalue2.txt

somevalueX -> /somevalueX/path-hdfs/somevalueX.txt

提前感谢您的帮助。

Answer 1

现在没有开箱即用的决定，但是pull request用于HDFS Bolt改进，允许写入多个文件。

Answer 2

您可以使用多个HDFS螺栓（每个文件一个），并在生产者螺栓中发出不同的输出流，以供给HDFS螺栓。

为此，为producer bolt中的每个输出文件声明一个输出流，并以execute(...)方法将元组发送到相应的输出流。