Flume - 如果客户端批量大于渠道交易容量,会发生什么?

时间:2015-10-30 17:15:07

标签: hadoop flume flume-ng

我正在阅读Batch Size, Channel Capacity Channel Transaction Capacity.我有点困惑,假设客户的批量大小为200但渠道的交易容量为100.会发生什么:

  • 客户是否降级其批量大小以匹配渠道的容量?
  • 客户是否将事件放入2个交易中的频道?
  • 客户端是否会尝试在一个事务中放入200个事件并收到异常?

我以为有人可能已经知道这一点,如果我没有回复,我会做一个实验;-)

这是否意味着在添加新客户端时必须更新这些设置?

1 个答案:

答案 0 :(得分:0)

至少在FileChannelHDFSEventSink方面,FileChannel.ChannelCapacity必须大于HDFSEventSink.batchSize,否则您将获得exception