要创建数据工作流的端到端本地测试，我使用了“模拟S3”容器（例如adobe/S3Mock）。似乎工作正常。但是，系统的某些部分依赖于S3A客户端。据我所知，其格式不允许指向特定的名称服务器或端点。
是否可以使S3A在本地环境中工作？
答案 0 :(得分：1)
您在谈论ASF Hadoop S3A Connector？没有人针对S3模拟AFAIK（从未见过！）进行过测试，但是它确实适用于非AWS端点
将fs.s3a.endpoint设置为S3连接的URL。还有一些从https切换到http（fs.s3a.connection.ssl.enabled = false）以及从虚拟主机移到目录（fs.s3a.path.style.access = true）的设置。
就像我说的那样：没有人这样做。我们的开发人员只是因为其问题（延迟，不一致，错误报告等）而与主要的AWS终端节点冲突，正是因为它是您在生产中获得的。但是对于您的本地测试，它将简化您的生活（并且您可以在詹金斯下运行它，而无需提供任何秘密）