Spark:如何读取实木复合地板

时间:2018-07-10 13:24:43

标签: apache-spark driver parquet snappy

一个问题,以了解spark如何发挥作用。使用时:

spark.read.parquet(sourcePath).{transformation}.{action}

如何读取实木复合地板文件?它是在驱动程序上完成的,然后分派给每个执行者吗?还是每个文件都发送给执行者,由阅读负责?

如果拼花地板经过快速压缩,那么在哪里以及如何进行解压缩?

我想知道实木复合地板文件在读取后是否会留在驱动程序内存中。

0 个答案:

没有答案