Question

我正在尝试使用Flume-ng来获取128MB的日志信息并将其放入HDFS文件中。但HDFS滚动选项不起作用。 Flume-ng每秒发送一次日志文件。我该如何修复flume.conf文件？

MyModel.select().order_by(MyModel.something.desc(nulls='LAST'))

Answer 1

我找到了这个解决方案。 dfs.replication不匹配导致此问题。

在我的hadoop conf（hadoop-2.7.2/etc/hadoop/hdfs-site.xml）

中

<property>
  <name>dfs.replication</name>
  <value>3</value>
</property>

我有2个数据节点，所以我将其更改为

<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>

我在flume.conf

中添加了配置

agent01.sinks.hadoopSink.hdfs.minBlockReplicas = 2

感谢

和