标签: apache-spark driver parquet snappy
一个问题,以了解spark如何发挥作用。使用时:
spark.read.parquet(sourcePath).{transformation}.{action}
如何读取实木复合地板文件?它是在驱动程序上完成的,然后分派给每个执行者吗?还是每个文件都发送给执行者,由阅读负责?
如果拼花地板经过快速压缩,那么在哪里以及如何进行解压缩?
我想知道实木复合地板文件在读取后是否会留在驱动程序内存中。