Java spark通过S3 API访问emc对象存储

时间:2018-05-17 07:03:57

标签: java apache-spark amazon-s3 apache-spark-sql

我是否可以通过S3 api获取Java + spark sql访问emc对象存储的api的参考。我尝试了很多S3 apis(aws-java-sdk.1.7.4 jar),但卡在与桶名相关的一些错误中。(因为我的桶名包含“”下划线。我在emc上的对象存储允许桶名称与“”。但我想通过spark sql访问它,但是通过S3 api。

1 个答案:

答案 0 :(得分:0)

麻烦的是S3A连接器都希望存储桶名称是有效的主机名,但DNS名称中不允许_。

AWS现在forbid new buckets with underscores,对于像spark这样的工具使用S3连接器的人除了关闭“wontfix”之外,不会对bug报告做任何事情。

抱歉,您只需要重命名您的存储桶。