所有,我想使用python设置hdfs目录配额。
设置配额时,我们应该使用hadoop dfsadmin -setSpaceQuota $QUOTA $DIR
我找到了一个名为pyhdfs(https://github.com/vbarter/pyhdfs)的python库,它可以控制许多hdfs操作,但没有配额操作。
如果我必须使用python创建一个目录:
fs = hadoop.HadoopDFS("username","password","ugi",64310)
print fs.getDefaultBlockSize()
fs.disconnect()
那么如何在hdfs中设置目录的配额? 有没有类似的方法呢?
THX
答案 0 :(得分:0)
我不熟悉pyhdfs模块,但是如果它不能做你想做的事情,你可以调出一个子shell。
from subprocess import call
call(["hadoop dfsadmin", "-setSpaceQuota ugi 64310"])
这就是我更喜欢在python脚本中进行hadoop类型管理的方法。它有它的缺点,但它完成了工作。