Flume生成的文件

Question

我有几个问题

我在回答

中将水槽配置作为注释here

1. Flume正在生成一个名为Flume-data.millisecond的文件。我可以指定自定义名称吗？我该如何更改？

2. 使用这种配置，我能够加载1.5MB文件5次，但是当我第6次运行它时，我得到了一个OutofMemoryError。我该如何解决这个问题？

由于

Answer 1

  

Flume正在生成一个文件而Flume-data.millisecond是文件的名称，我可以自定义名称吗？我怎么能改变它？

是的，您可以将自定义名称作为正在生成的文件的前缀或后缀。

  

    

hdfs.filePrefix：FlumeData：以Flume创建的文件为前缀的名称     hdfs目录

  

     

---

     

    

hdfs.fileSuffix - 附加到文件的后缀（例如.avro - 注意：句点是     不自动添加）

  

查看flume user guide中的HDFS接收器以获取更多详细信息。

  

使用这种配置，我能够加载1.5MB文件5次，但是当我第6次运行它时，我得到了一个OutofMemoryError。我该如何解决这个问题。

由于您正在使用容量不足的内存通道，因此会出现内存不足错误。更好地使用文件频道。