套接字错误将Spark转换为Pandas DataFrame

时间:2018-10-03 22:39:48

标签: python pandas apache-spark dataframe pyspark

我正在尝试使用myDF1将较小的Spark数据帧(.toPandas())转换为Pandas并得到Exception: could not open socket-似乎是由于https://github.com/databricks/spark-sklearn/issues/49造成的,但是使用重试功能无法使其正常工作。

这是我尝试过的:

count = 1 while count <= 3: # try 3 times try: myDF1.toPandas() break except Exception as e: if count == 3: raise count += 1

似乎也不起作用-除了试图保持Spark数据框不变之外,我是否缺少任何其他东西?

0 个答案:

没有答案