Question

背景

我一直致力于为自己设置灵活的设置，以便在使用docker swarm模式的aws上使用spark。我一直使用的docker镜像配置为使用最新的spark，当时的Hadoop 2.7.3为2.1.0，可在jupyter/pyspark-notebook使用。

这是有效的，我一直在测试我计划使用的各种连接路径。我遇到的问题是围绕与s3交互的正确方式的不确定性。我已经跟踪了如何使用s3a协议和s3n协议为aws s3上的数据提供spark的依赖关系。

我终于遇到了hadoop aws guide并认为我正在关注如何提供配置。但是，我仍然收到400 Bad Request错误，如this question中所示，它描述了如何通过定义端点来修复它，我已经完成了。

我最终离开标准配置太远了us-east-2，让我不确定我是否有jar文件的问题。为了消除区域问题，我在常规的us-east-1区域重新设置了内容，最终我能够与s3a建立联系。所以我把问题缩小到了该地区，但我认为我正在做其他地区所需的一切。

问题

在spark中使用hadoop的配置变量使用us-east-2的正确方法是什么？

注意：此示例使用本地执行模式来简化操作。

import os
import pyspark

在创建上下文后，我可以在控制台中看到这些下载的笔记本，并添加这些使我完全被破坏，以获得错误请求错误。

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.3 pyspark-shell'

conf = pyspark.SparkConf('local[1]')
sc = pyspark.SparkContext(conf=conf)
sql = pyspark.SQLContext(sc)

对于aws配置，我尝试了以下两种方法，只使用上面的conf，并执行与我在下面所做的相同的conf.set(spark.hadoop.fs.<config_string>, <config_value>)模式，除了这样做，我设置了值在创建spark上下文之前conf。

hadoop_conf = sc._jsc.hadoopConfiguration()

hadoop_conf.set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)

有一点需要注意的是，我还尝试了us-east-2 s3-us-east-2.amazonaws.com的替代端点。

然后我读了s3的一些镶木地板数据。

df = sql.read.parquet('s3a://bucket-name/parquet-data-name')
df.limit(10).toPandas()

再次，在将EC2实例移动到us-east-1并注释掉端点配置之后，上面的工作对我来说很有用。对我来说，似乎端点配置由于某种原因没有被使用。

Answer 1

us-east-2是一个V4 auth S3实例，因此，在您尝试时，必须设置fs.s3a.endpoint值。

如果没有被选中，则假设您设置的配置不是用于访问存储桶的配置。知道Hadoop通过URI缓存文件系统实例，即使配置发生变化也是如此。第一次访问文件系统的尝试修复了配置，即使它缺少auth细节。

一些策略

设置值为spark-defaults
使用您刚刚创建的配置，尝试通过调用Filesystem.get(new URI("s3a://bucket-name/parquet-data-name", myConf)显式加载文件系统将返回带有该配置的存储桶（除非它已经存在）。我不知道如何在.py中打电话。
将属性"fs.s3a.impl.disable.cache"设置为true以在get命令

为BadAuth错误添加更多诊断以及Wiki页面，是S3A第III阶段列出的功能。如果您要添加它以及测试，我可以查看它并在

你如何在aws us-east-2上使用s3a和spark 2.1.0？

1 个答案: