Question

我有一个Spark作业，在本地运行时可以很好地工作，但是在作为计划的cron作业运行时会立即失败。尝试连接到Java服务器时，它将在失败时引发一般错误。

排除：

与代理相关的问题
环境变量（在两种情况下均已打印并比较）
与Venv相关的问题，以及在本地运行时所使用的

以下是使用cron运行时的完整作业输出。

该作业现在可以通过屏幕和睡眠方式来解决，并且可以成功完成而没有任何问题。

有什么主意吗？

谢谢

  File "/home/user/anaconda2/envs/python_3.6/lib/python2.7/site-packages/pyspark/python/lib/py4j-0.10.7-src.zip/py4j/java_gateway.py", line 1067, in start
    self.socket.connect((self.address, self.port))
  File "/home/user/anaconda2/envs/python_3.6/lib/python2.7/socket.py", line 228, in meth
    return getattr(self._sock,name)(*args)
error: [Errno 111] Connection refused
2019-06-01 14:04:18,313:An error occurred while trying to connect to the Java server (127.0.0.1:33134)```

仅当通过cron运行时，Spark作业才会失败

0 个答案: