如何从HDFS读取文本文件到Python，然后将内容保存为字符串？

Question

我有一个.txt文件保存在HDFS中，我想用Python读取它并将内容保存在字符串变量中。我该怎么办？

Answer 1

您可以使用pyhdfs包从HDFS服务器下载文件，然后读取文件并将其加载到字符串变量中

import pyhdfs
hdfsclient = pyhdfs.HdfsClient('HDFS_URL')

# to copy from HDFS SERVER
hdfsclient.copy_to_local(HDFS_source_file_path, LOCAL_target_file_path)

file = open(“local_file.txt”, “r”) 
String_var = file.read() 

# to copy to the HDFS SERVER
hdfsclient.copy_from_local(LOCAL_source_file_path, HDFS_target_file_path)