Question

我想将s3存储桶poc/folderName上的文件夹myBucketName中存在的一些镶木地板文件读取到pyspark数据帧。我使用的是pyspark v2.4.3。

下面是我正在使用的代码

    sc = SparkContext.getOrCreate()
    sc._jsc.hadoopConfiguration().set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
    sc._jsc.hadoopConfiguration().set("fs.s3a.awsAccessKeyId", 'id')
    sc._jsc.hadoopConfiguration().set("fs.s3a.awsSecretAccessKey", 'sid')
    sqlContext = SQLContext(sc)
    parquetDF = sqlContext.read.parquet("s3a://myBucketName/poc/folderName")

我已经使用命令pyspark --packages org.apache.hadoop：hadoop-aws：3.3.0下载了hadoop-aws软件包，但是当我在上面的代码中运行时，会收到以下错误消息。

An error occurred while calling o825.parquet.
: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3a.S3AFileSystem not found
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2195)
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2654)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)

我在这里做错了什么？我正在Windows 10上使用Anaconda和spyder运行python代码

Answer 1

开源Hadoop S3驱动程序的Maven坐标需要作为软件包依赖项添加：

spark-submit --packages org.apache.hadoop:hadoop-aws:2.7.0

请注意，上述软件包版本与已安装的Java版AWS开发工具包相关。

在Spark应用程序的代码中，可能还需要以下内容：

hadoop_conf = spark.sparkContext._jsc.hadoopConfiguration()
hadoop_conf.set("fs.s3a.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)

请注意，在使用开源Hadoop驱动程序时，S3 URI方案是s3a而不是s3（在EMR和Amazon专有的EMRFS上使用Spark时就是这种情况）。例如s3a：// bucket-name /

贷记danielchalef

使用pyspark从s3位置读取镶木地板文件的文件夹到pyspark数据框

1 个答案: