如何使用python处理hdfs中的文件

Question

有人可以告诉我如何在python程序中打开和处理hdfs中的文件？

由于

Answer 1

您可以使用以下方法之一：

https://code.google.com/p/libpyhdfs/

https://github.com/traviscrawford/python-hdfs

或者只是做一些没有外部库的事情：

file = subprocess.Popen(["hadoop", "fs", "-cat", "/path/to/file"], stdout=subprocess.PIPE)
for line in file.stdout:
    print line