pyspark.sql.DataFrameReader是否在S3上并行读取单个csv文件?

时间:2017-10-20 16:09:58

标签: python apache-spark amazon-s3 pyspark apache-spark-sql

所以,我正在查看pyspark文档并使用pyspark.sql.DataFrameReader

我想知道它是否在我给它一条S3路径时并行处理一个单独的csv文件?每个工作节点如何在S3上读取相同的csv文件?

0 个答案:

没有答案