正确关闭火花流工作中的Hbase资源

时间:2016-01-28 14:30:42

标签: hbase spark-streaming

我正在设计一个火花流作业,它从流中获取ID并创建一个IDD的RDD,RDD操作是从hbase表中获取id的数据,处理并保存到hbase表。在每个spark执行器中,我使用工厂创建一个HbaseConnection,在执行程序的生命周期内保持打开状态,并根据http://hbase.apache.org/book.html#client.connections的Hbase文档建议创建Htable的新实例。 Qn是在流媒体作业停止或终止时如何正确关闭执行程序中的hbase连接。我也在考虑在执行程序中汇集多个连接,寻找好的设计建议。

0 个答案:

没有答案
相关问题