使用pyspark将s3文件从一个存储桶复制到另一个存储桶

时间:2020-05-19 05:02:31

标签: amazon-s3 pyspark

我在S3中有2个存储桶,结构如下:

源存储桶:s3:// leo-source / sales_input

源文件: sales_data_Q1_2019.csv,sales_data_Q2_2019.csv,Region.csv, product_2019.csv,product_2020.csv

目标存储桶:

  1. s3:// leo-target / sales_output / sales_data
  2. s3:// leo-target / sales_output / product
  3. s3:// leo-target / sales_output / Region

我要使用pyspark数据框,将文件从源复制到具有相似名称的目标路径,例如,所有sales_data文件仅位于sales_data文件夹下。

谢谢

0 个答案:

没有答案