如何使用python设置hdfs目录配额

时间:2013-10-11 03:06:29

标签: python hadoop hdfs

所有,我想使用python设置hdfs目录配额。

设置配额时,我们应该使用hadoop dfsadmin -setSpaceQuota $QUOTA $DIR

我找到了一个名为pyhdfs(https://github.com/vbarter/pyhdfs)的python库,它可以控制许多hdfs操作,但没有配额操作。

如果我必须使用python创建一个目录:

fs = hadoop.HadoopDFS("username","password","ugi",64310)
print fs.getDefaultBlockSize()
fs.disconnect()

那么如何在hdfs中设置目录的配额? 有没有类似的方法呢?

THX

1 个答案:

答案 0 :(得分:0)

我不熟悉pyhdfs模块,但是如果它不能做你想做的事情,你可以调出一个子shell。

from subprocess import call
call(["hadoop dfsadmin", "-setSpaceQuota ugi 64310"])

这就是我更喜欢在python脚本中进行hadoop类型管理的方法。它有它的缺点,但它完成了工作。