Phoenix Map Reduce-Zookeeper连接泄漏?

时间:2019-01-13 12:41:19

标签: mapreduce hbase phoenix

我有一些地图归约工作,使用Phoenix Phoenix和apache phoenix针对Hbase运行。要启动地图缩小作业,我使用了一个运行时间较长的Java程序,该程序等待触发器启动地图缩小作业。问题是启动器程序的打开文件描述符的数量随着时间的推移不断增加,最终达到由于“打开文件太多”错误而导致无法启动更多map reduce作业的状态。当我检查正在累积的打开文件列表时,它们都是Zookeeper连接(2181端口)或Hbase连接(16070端口)。作业创建如下。这是根据apache phoenix map reduce sample

Configuration configuration = HBaseConfiguration.create();
Job job = Job.getInstance(configuration,appName);
PhoenixMapReduceUtil.setInput(job,PhoenixTableInput.class,inTablename,query);
PhoenixMapReduceUtil.setOutput(job, outTablename, outTableColumns);

job.setMapperClass(...);
....

TableMapReduceUtil.addDependencyJars(job);
job.waitForCompletion(true)

只要启动器处于活动状态,这些连接就会打开。关于如何在不实际停止启动程序的情况下清理这些连接的任何指示?

0 个答案:

没有答案