如何保证在使用池时管理hadoop FileSystem连接

时间:2013-03-11 12:08:46

标签: hadoop filesystems pool

由于FileSystem.get不是线程安全的,我使用FileSystem.newInstance代替。 但每当我需要连接到HDFS时调用newInstance方法可能不是一个好主意。 所以我创建了FileSystem连接池。

这是第一个问题。

这是好方法吗?

因为我检查了Hive源,但是他们不使用这种方法。只是直接使用HDFS API,甚至从不使用newInstance。为什么?他们如何建立新的FileSystem连接?

他们也不使用FileSystem.close()。

他们如何保证文件系统将关闭?

0 个答案:

没有答案