Question

所以我试图创建一个Java SFTP服务器，它充当Apache S3存储桶的前端。您可以通过SFTP连接并在存储桶中管理S3文件，就像它们是SFTP服务器上的文件一样。

我已使用Apache MINA（v1.2.0）作为SFTP服务器，使用SftpSubsystemFactory和默认FileSystemFactory（提供本地文件系统）可以正常工作。 /> 我已选择Amazon-S3-FileSystem-NIO2（v1.3.0）作为FileSystem，它使用Apache AWS SDK并且似乎是最佳选择

public class S3FileSystemFactory implements FileSystemFactory {
    private URI uri = URI.create("localhost");

    public S3FileSystemFactory(URI uri){
        this.uri = uri;
    }

    public FileSystem createFileSystem(Session session) throws IOException {
        ClassLoader classLoader = Thread.currentThread().getContextClassLoader();
        FileSystem s3FileSystem = FileSystems.newFileSystem(uri, new HashMap<String, Object>(), classLoader);
        return s3FileSystem;
    }
}

我只是将其设置为MINA的FileSystemFactory

SshServer sshd = SshServer.setUpDefaultServer();
sshd.setKeyPairProvider(buildHostKeyProviderFromFile(hostKeyType));
sshd.setPasswordAuthenticator(createPasswordAuthenticator());
sshd.setPublickeyAuthenticator(AcceptAllPublickeyAuthenticator.INSTANCE);
sshd.setSubsystemFactories(createSubsystemFactories());
sshd.setFileSystemFactory(createFileSystemFactory());

URI uri = URI.create("s3:///s3.amazonaws.com/my_bucket"); 
FileSystemFactory s3FileSystemFactory = new S3FileSystemFactory(uri);
sshd.setFileSystemFactory(s3FileSystemFactory);

我可以使用FileZilla / Command Line连接到此服务器，但它会自动连接到ImageTransfer存储桶（不是my_bucket）。我可以导航到其他存储桶，甚至是子存储桶但不能显示内容，所有内容看起来都像一个空目录。

这可以通过FileSystem I'm using完成，因为我可以列出目录内容，如此

    Path p = s3FileSystem.getPath("/my_bucket");
    String contents = "";
    try (DirectoryStream<Path> stream = Files.newDirectoryStream(p, "*")) {
        for (Path file : stream) {
            contents += "\n \t - " + file.getFileName();
        }
    } catch (IOException | DirectoryIteratorException x) {}

我一直在查看s3fs，MINA和AWS代码（因为文档非常有限），但无法确定此问题的根源。谁能说清楚我做错了什么？

登录

开启所有库的日志记录后，我只能看到一个问题

"HEAD
application/x-www-form-urlencoded; charset=utf-8
Fri, 20 May 2016 09:58:07 GMT
/MYURL/."
2016-05-20 10:58:07.240 DEBUG 13323 --- [system-thread-1] c.a.http.impl.client.SdkHttpClient       : Stale connection check
2016-05-20 10:58:07.243 DEBUG 13323 --- [system-thread-1] c.a.http.impl.client.SdkHttpClient       : Attempt 1 to execute request
2016-05-20 10:58:07.434 DEBUG 13323 --- [system-thread-1] c.a.http.impl.client.SdkHttpClient       : Connection can be kept alive indefinitely
2016-05-20 10:58:07.435 DEBUG 13323 --- [system-thread-1] com.amazonaws.request                    : Received error response: com.amazonaws.services.s3.model.AmazonS3Exception: Not Found (Service: null; Status Code: 404; Error Code: 404 Not Found; Request ID: MYREQID), S3 Extended Request ID: MYEXTREQID

Answer 1

问题是双重的。

首先，Apache MINA SSHD requires permission属性适用于它使用的任何FileSystem，这很奇怪，因为它具有POSIX特定属性，所以很明显{{3}没有提供它。

其次，Apache MINA SSHD在Amazon-S3-FileSystem-NIO2中调用（并要求）一个未实现的方法，即FileChannel

public FileChannel newFileChannel(Path path,
                                  Set<? extends OpenOption> options,
                                  FileAttribute<?>... attrs)

一个hacky解决方案就是将POSIX读/写权限硬编码到返回的S3属性中，并创建一个只调用现有S3FileSystemProvider上的方法的S3FileChannel。这是我现在能想到的最佳解决方案。

Answer 2

我们分叉Amazon-S3-FileSystem-NIO2并实现了缺失的东西，以便S3 FileSystem与Apache Mina SFTP协同工作。

您可以找到回购here并使用maven在本地构建。

我们如何在MINA中使用它是这样的：

public FileSystemFactory createFileSystemFactory(String bucketName) throws IOException, URISyntaxException {
    FileSystem fileSystem = FileSystems.newFileSystem(new URI("s3:///"), env, Thread.currentThread().getContextClassLoader());
    String bucketPath = fileSystem.getPath("/" + bucketName);

    return new VirtualFileSystemFactory(bucketPath);
}

为什么s3fs不像普通的Apache MINA SSHD文件系统那样工作？

2 个答案: