Pyspark结构化Streaming socket.timeout:在UDF中使用Stanford NER时超时异常。如何解决?

时间:2019-03-18 10:50:31

标签: pyspark spark-structured-streaming

原因:org.apache.spark.SparkException:由于阶段失败而导致作业中止:阶段0.0中的任务0失败1次,最近一次失败:阶段0.0中的任务0.0丢失(TID 0,localhost,执行程序驱动程序): org.apache.spark.api.python.PythonException:追溯(最近一次调用最近):   主文件238行中的文件“ D:\ spark_kafka_es_kibana \ spark-2.3.3-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ worker.py”   文件“ D:\ spark_kafka_es_kibana \ spark-2.3.3-bin-hadoop2.7 \ python \ lib \ pyspark.zip \ pyspark \ serializers.py”,行690,在read_int中     长度= stream.read(4)   文件“ C:\ Users \ Dhinesh.m \ AppData \ Local \ Programs \ Python \ Python36 \ lib \ socket.py”,行586,读入     返回self._sock.recv_into(b) socket.timeout:超时

0 个答案:

没有答案