使用Python在hdfs上读/写文件

时间:2016-05-16 19:20:37

标签: python hdfs

我是Python的新手,我想从hdfs读取一个文件(我已经实现了)。

在读取文件后,我正在进行一些字符串操作,我想将这些修改后的内容写入输出文件。

读取我使用子进程实现的文件(花了很多时间),因为打开对我不起作用。

cat = Popen(["hadoop", "fs", "-cat", "/user/hdfs/test-python/input/test_replace"],stdout=PIPE)

现在,如何使用修改后的内容写入输出文件是个问题。

非常感谢您的帮助

1 个答案:

答案 0 :(得分:0)

您可以使用库来读取和写入HDFS,例如https://github.com/mtth/hdfs