Question

我正在运行解析器文件以从本地目录中的.txt文件中解析文件。现在，这些文件已移至HDFS群集，我想将Pycharm配置为访问HDFS群集。有人可以协助我吗？

Answer 1

我想配置我的Pycharm以访问HDFS集群

取决于您所指的访问类型。就HDFS CLI基础而言，您可以使用os

# Not tested
import os 
import sys 

f = "{}/tmp.txt".format(os.getcwd())
cmds = [
    "touch {}".format(f),
    "hadoop fs -copyFromLocal {} /user/$USER/".format(f),
    "rm -fv {}".format(f),
    "hadoop fs -copyToLocal /user/$USER/tmp.txt $PWD/",
]
for cmd in cmds:
    os.system(cmd)
assert os.path.exists(f)

但是，如果您正在寻找更精细的控制，则需要pyarrow（或类似名称）之类的东西

从Pycharm解析HDFS文件

1 个答案: