我正在尝试使用myDF1
将较小的Spark数据帧(.toPandas()
)转换为Pandas并得到Exception: could not open socket
-似乎是由于https://github.com/databricks/spark-sklearn/issues/49造成的,但是使用重试功能无法使其正常工作。
这是我尝试过的:
count = 1
while count <= 3: # try 3 times
try:
myDF1.toPandas()
break
except Exception as e:
if count == 3:
raise
count += 1
似乎也不起作用-除了试图保持Spark数据框不变之外,我是否缺少任何其他东西?