Question

尝试在h2o（版本3.20.0.5）中训练DRF分类器，错误“ H2OServerError：HTTP 500服务器错误”，没有进一步的解释。

---------------------------------------------------------------------------
H2OServerError                            Traceback (most recent call last)
<ipython-input-44-f52d1cb4b77a> in <module>()
      4     training_frame=train_u, validation_frame=val_u,
      5     weights_column='weight',
----> 6     max_runtime_secs=max_train_time_hrs*60*60)
      7 
      8 

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/estimators/estimator_base.pyc in train(self, x, y, training_frame, offset_column, fold_column, weights_column, validation_frame, max_runtime_secs, ignored_columns, model_id, verbose)
    224         rest_ver = parms.pop("_rest_version") if "_rest_version" in parms else 3
    225 
--> 226         model_builder_json = h2o.api("POST /%d/ModelBuilders/%s" % (rest_ver, self.algo), data=parms)
    227         model = H2OJob(model_builder_json, job_type=(self.algo + " Model Build"))
    228 

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/h2o.pyc in api(endpoint, data, json, filename, save_to)
    101     # type checks are performed in H2OConnection class
    102     _check_connection()
--> 103     return h2oconn.request(endpoint, data=data, json=json, filename=filename, save_to=save_to)
    104 
    105 

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/backend/connection.pyc in request(self, endpoint, data, json, filename, save_to)
    400                                     auth=self._auth, verify=self._verify_ssl_cert, proxies=self._proxies)
    401             self._log_end_transaction(start_time, resp)
--> 402             return self._process_response(resp, save_to)
    403 
    404         except (requests.exceptions.ConnectionError, requests.exceptions.HTTPError) as e:

/home/mapr/python-virtual-envs/ml1c/venv/lib/python2.7/site-packages/h2o/backend/connection.pyc in _process_response(response, save_to)
    728         # Note that it is possible to receive valid H2OErrorV3 object in this case, however it merely means the server
    729         # did not provide the correct status code.
--> 730         raise H2OServerError("HTTP %d %s:\n%r" % (status_code, response.reason, data))
    731 
    732 

H2OServerError: HTTP 500 Server Error:
Server error java.lang.NullPointerException:
  Error: Caught exception: java.lang.NullPointerException
  Request: None

有问题的代码段如下所示：

max_train_time_hrs = 8 
drf_proc.train(
    x=train_features, y=train_response,
    training_frame=train_u, validation_frame=val_u,
    weights_column='weight',
    max_runtime_secs=max_train_time_hrs*60*60)

运行h2o.init()命令的输出看起来像

Checking whether there is an H2O instance running at http://172.18.4.62:54321. connected.
Warning: Your H2O cluster version is too old (7 months and 24 days)! Please download and install the latest version from http://h2o.ai/download/
H2O cluster uptime: 06 secs
H2O cluster timezone:   Pacific/Honolulu
H2O data parsing timezone:  UTC
H2O cluster version:    3.20.0.5
H2O cluster version age:    7 months and 24 days !!!
H2O cluster name:   H2O_88021
H2O cluster total nodes:    4
H2O cluster free memory:    15.34 Gb
H2O cluster total cores:    8
H2O cluster allowed cores:  8
H2O cluster status: accepting new members, healthy
H2O connection url: http://172.18.4.62:54321
H2O connection proxy:   None
H2O internal security:  False
H2O API Extensions: AutoML, XGBoost, Algos, Core V3, Core V4
Python version: 2.7.12 fin

虽然我意识到有一个警告，我正在使用的h2o版本“太旧”，我正在使用的h2o python软件包的版本以及我要连接的集群仍然匹配，但是由于无法升级，到访问此群集并需要特定版本的其他h2o应用程序访问（所有这些应用程序似乎在群集上运行都没有问题）。同时，任何Web浏览器都无法连接到H2O连接URL。

关于此处可能发生的事情或调试可能涉及的步骤的任何想法吗？

Answer 1

15GB的内存可能不足以用于您希望持续8小时的训练过程。（此外：我建议您使用early stopping，而不要使用max_runtime_secs，或者同时使用h2o.init()。）

作为调试步骤，建议您在Flow界面中观看（将浏览器指向端口54321-在train_features输出中查看连接URL）。尤其要注意内存使用率如何随着时间而增加。

（有时会出现“ 500”错误，这表明它已经变得不稳定，而内存不足是常见的触发条件。）

如果您立即收到错误消息，则不太可能是问题所在（除非您拥有庞大的数据集）。

在那种情况下，如果特定的列或数据行可能引起问题，我将尝试缩小范围。例如。

实验1：train_features中列的前半部分
实验2：train_u中列的后半部分
实验3：train_u中的前半行
实验4：valid_u中的行的后半部分
实验5/6（如果仍然没有运气的话）：与auth()相同

如果其中一对实验崩溃了，而另一对没有崩溃，那么请在崩溃的另一半上重复实验。

H2O H2OServerError：训练模型时出现HTTP 500服务器错误

1 个答案: