标签: hadoop jvm apache-nifi
我有一个NIFI-1.4.0的独立安装,并在两个Hadoop集群之间进行数据传输。 (当群集运行满容量时,作为DistCP的备份选项进行探索)。
我看到了最大值。传输速率约为500MB /秒,我尽可能调整并行度和缓冲区大小,但传输速率不超过150兆/秒。我们的网络是10GG,因此从NIFI方面受到限制。
请告知在哪里寻找。
我尝试使用默认(512 MB),4 GB和8 GB但不起作用的JVM大小。