Question

您好我正在使用pywebhdfs python lib。我通过调用并尝试在HDFS上创建文件来连接EMR。我正在低于异常，这似乎与我正在执行的内容无关，因为我没有达到任何连接限制。是因为webhdfs如何工作

from pywebhdfs.webhdfs import PyWebHdfsClient
hdfs = PyWebHdfsClient(host='myhost',port='50070', user_name='hadoop')
my_data = '01010101010101010101010101010101'
my_file = 'user/hadoop/data/myfile.txt'
hdfs.create_file(my_file, my_data)

requests.exceptions.ConnectionError：HTTPConnectionPool（host =＆＃39; masterDNS＆＃39;，port = 50070）：使用url超出了最大重试次数：/webhdfs/v1/user/hadoop/data/myfile.txt?op= CREATE＆amp; user.name = hadoop（由NewConnectionError引起（＆＃39;：无法建立新连接：[Errno 115]正在进行的操作＆＃39;，））

Answer 1

我也有这个问题。我发现由于某种原因呼吁：

发送（self，request，stream = False，timeout = None，verify = True，cert = None，proxies = None）：

超时为0，导致发送抛出

<强> MaxRetryError

底线，我发现如果你设置超时= 1，它可以正常工作：

hdfs = PyWebHdfsClient（host ='yourhost'，port ='50070'，user_name ='hdfs'，timeout = 1）

希望这也适合你。

Answer 2

格式化namenode多次为我解决了这个问题。

hdfs namenode -format

Answer 3

请检查您的连接状态。运行以下命令以查看webhdfs端口是否可在您的主机上正常工作：

netstat -an | grep 50070 | grep LIST

请注意：

如果启用了SSL，则端口将为50470。
hdfs namenode -format不应从该节点运行，因为它会格式化您的namenode并失去所有内容。

Answer 4

也许，webhdfs服务未在您指定的主机上运行。您可以检查您的群集以查看正在运行webhdfs服务的主机。

ConnectionError（MaxRetryError（＆＃34; HTTPConnectionPool使用pywebhdfs超出最大重试次数）

4 个答案: