如何在NIFI中有效使用Select Hive Processor？

Question

我一直在使用Select Hive处理器从Hive获取数据并创建CSV文件。我正在观察大约7百万条记录，大约需要5分钟。当仔细观察时，发现从Hive获取数据的速度更快，并且几乎不占总时间的10％，但在CSV中写入文件花费的时间太长。我正在使用8核和32GB RAM。我已经配置了16 GB的堆内存。有人可以帮助改善这种表现吗？我是否需要进行任何系统级设置？

Answer 1

SelectHiveQL的CSV输出选项当然可以改进，目前它将每一行构建为内存中的字符串，然后将其写入流文件，但它可能只是直接写入流文件等。请随意为此改进提交Jira。