Spark Java Executor是否可以从PySpark中的Python Worker访问Arrow Record Batch?

时间:2018-06-19 17:13:48

标签: apache-spark pyspark apache-arrow

Java Spark执行程序代码如何,例如分区工作者,在PySpark中的Python工作者处理完箭头记录批处理之后,使用Arrow访问箭头记录批处理吗?也就是说,在伴随图中,我们希望直接从执行器访问“返回的”箭头批处理,而不是访问批处理转换后的行。

enter image description here

0 个答案:

没有答案