我是否可以通过S3 api获取Java + spark sql访问emc对象存储的api的参考。我尝试了很多S3 apis(aws-java-sdk.1.7.4 jar),但卡在与桶名相关的一些错误中。(因为我的桶名包含“”下划线。我在emc上的对象存储允许桶名称与“”。但我想通过spark sql访问它,但是通过S3 api。
答案 0 :(得分:0)
麻烦的是S3A连接器都希望存储桶名称是有效的主机名,但DNS名称中不允许_。
AWS现在forbid new buckets with underscores,对于像spark这样的工具使用S3连接器的人除了关闭“wontfix”之外,不会对bug报告做任何事情。
抱歉,您只需要重命名您的存储桶。