我正在寻找不同的选项，通过它我可以使用python直接将数据写入hdfs，而无需存储在本地节点上，然后使用copyfromlocal。
我想使用类似于本地文件的hdfs文件，并使用以行为参数的write方法，具体如下：
hdfs_file = hdfs.create("file_tmp")
hdfs_file.write("Hello world\n")
是否存在类似于上述用例的内容？
答案 0 :(得分：12)
我不确定python hdfs库，但你总是可以通过hadoop fs put命令流，并用' - '作为源文件名表示从stdin复制：
hadoop fs -put - /path/to/file/in/hdfs.txt