培训大数据时引擎挂起

Question

我在训练40万条记录（约200 MB）时遇到als，类似产品模板的问题。 它停在第13阶段：===================== [0 + 1] / 2

有人可以帮我吗？

Answer 1

启动命令时，您正在使用迷你Spark服务器：

pio train

这款迷你服务器的资源有限。您需要启动自己的Spark群集。它可以在与PredictionIO服务器相同的计算机上启动。您需要使用以下命令启动Spark standalone：

./PredictionIO/vendors/spark-1.5.1/sbin/start-master.sh --webui-port 8180
./PredictionIO/vendors/spark-1.5.1/sbin/start-slave.sh spark://localhost:7077 --webui-port 8181

然后您可以使用此命令训练使用该Spark实例：

pio train -- --master spark://localhost:7077 --driver-memory 4G --executor-memory 8G

如果无法访问spark://localhost:7077，您可以使用端口8180打开Webui以查看主服务器的URL（页面的第一行）。使用该URL连接您的奴隶和您的火车。