用螺栓创建csv文件

时间:2013-08-22 12:29:10

标签: apache-storm

我想将Bolt Output写入csv文件。考虑我是否正在从spout读取数据并将其传递给bolt,bolt进行一些计算然后将该数据写入csv文件,尽管我正在运行2个spout和4个bolt实例。

  

在csv文件中,我写了一次Columns,并在那个多数据下写   以下

Example: Columns:  Empid,EmpSal,Address
           1,1000,Add1
           2,1500,Add2
           3,200,Add3
  

但是由于螺栓列的多次插入,名称正在重复   csv文件如下:

Empid,EmpSal,Address
            1,1000,Add1
            Empid,EmpSal,Address
            2,1500,Add2
            ....
  

所以任何人都知道为什么列重复

提前致谢

1 个答案:

答案 0 :(得分:2)

虽然我并不真正了解你的问题但是最好让Bolt充当累加器。完成数据处理后,您的CSV文件已准备就绪;您将数据发送到充当编写器的Bolt,只有此Bolt写入CSV文件。即使你有多个Bolt实例,通过正确的同步,也很容易确保文件的正确性。

我使用Storm和Clojure,因此并发部分非常简单!