标签: apache-spark dataframe parquet bigdata
当我的程序执行dataframe.write函数时,哪些节点会执行这个函数?从节点会直接将结果写入磁盘,还是会将所有结果发送给驱动程序让驱动程序完成这项工作?
答案 0 :(得分:1)
工作节点。写作分发几乎所有操作(collect,take,toPandas等除外)
collect
take
toPandas