标签: python apache-spark amazon-s3 pyspark apache-spark-sql
所以,我正在查看pyspark文档并使用pyspark.sql.DataFrameReader
我想知道它是否在我给它一条S3路径时并行处理一个单独的csv文件?每个工作节点如何在S3上读取相同的csv文件?