如何确保通过SFTP在监视目录中上传的所有文件都可以通过Java7使用?

时间:2013-12-17 09:58:47

标签: java continuous-integration java-7 sftp

我正在使用WatchService来监控目录。另一个第三方将通过SFTP将大型CSV文件上传到该目录。我必须等到所有文件都完成才能开始处理文件。

我现在的麻烦是SFTP在上传开始后立即创建文件我得到ENTRY_CREATE并不断获得ENTRY_MODIFY直到文件完成。无论如何都要告诉文件是否真的完成了。

这是我使用的代码,我从Java Documentation

获得它
public class WatchDir {

private final WatchService watcher;
private final Map<WatchKey, Path> keys;
private final boolean recursive;
private boolean trace = false;

@SuppressWarnings("unchecked")
static <T> WatchEvent<T> cast(WatchEvent<?> event) {
    return (WatchEvent<T>) event;
}

/**
 * Register the given directory with the WatchService
 */
private void register(Path dir) throws IOException {
    WatchKey key = dir.register(watcher, ENTRY_CREATE, ENTRY_DELETE, ENTRY_MODIFY);
    if (trace) {
        Path prev = keys.get(key);
        if (prev == null) {
            System.out.format("register: %s\n", dir);
        } else {
            if (!dir.equals(prev)) {
                System.out.format("update: %s -> %s\n", prev, dir);
            }
        }
    }
    keys.put(key, dir);
}

/**
 * Register the given directory, and all its sub-directories, with the
 * WatchService.
 */
private void registerAll(final Path start) throws IOException {
    // register directory and sub-directories
    Files.walkFileTree(start, new SimpleFileVisitor<Path>() {
        @Override
        public FileVisitResult preVisitDirectory(Path dir, BasicFileAttributes attrs)
                throws IOException {
            register(dir);
            return FileVisitResult.CONTINUE;
        }
    });
}

/**
 * Creates a WatchService and registers the given directory
 */
WatchDir(Path dir, boolean recursive) throws IOException {
    this.watcher = FileSystems.getDefault().newWatchService();
    this.keys = new HashMap<WatchKey, Path>();
    this.recursive = recursive;

    if (recursive) {
        System.out.format("Scanning %s ...\n", dir);
        registerAll(dir);
        System.out.println("Done.");
    } else {
        register(dir);
    }

    // enable trace after initial registration
    this.trace = true;
}

/**
 * Process all events for keys queued to the watcher
 */
void processEvents() {
    for (; ; ) {

        // wait for key to be signalled
        WatchKey key;
        try {
            key = watcher.take();
        } catch (InterruptedException x) {
            return;
        }

        Path dir = keys.get(key);
        if (dir == null) {
            System.err.println("WatchKey not recognized!!");
            continue;
        }

        for (WatchEvent<?> event : key.pollEvents()) {
            WatchEvent.Kind kind = event.kind();

            // TBD - provide example of how OVERFLOW event is handled
            if (kind == OVERFLOW) {
                continue;
            }

            // Context for directory entry event is the file name of entry
            WatchEvent<Path> ev = cast(event);
            Path name = ev.context();
            Path child = dir.resolve(name);

            // print out event
            System.out.format("%s: %s\n", event.kind().name(), child);

            // if directory is created, and watching recursively, then
            // register it and its sub-directories
            if (recursive && (kind == ENTRY_CREATE)) {
                try {
                    if (Files.isDirectory(child, NOFOLLOW_LINKS)) {
                        registerAll(child);
                    }
                } catch (IOException x) {
                    // ignore to keep sample readbale
                }
            }
        }

        // reset key and remove from set if directory no longer accessible
        boolean valid = key.reset();
        if (!valid) {
            keys.remove(key);

            // all directories are inaccessible
            if (keys.isEmpty()) {
                break;
            }
        }
    }
}

static void usage() {
    System.err.println("usage: java WatchDir [-r] dir");
    System.exit(-1);
}

public static void main(String[] args) throws IOException {
    // parse arguments
    if (args.length == 0 || args.length > 2)
        usage();
    boolean recursive = false;
    int dirArg = 0;
    if (args[0].equals("-r")) {
        if (args.length < 2)
            usage();
        recursive = true;
        dirArg++;
    }

    // register directory and process its events
    Path dir = Paths.get(args[dirArg]);
    new WatchDir(dir, recursive).processEvents();
}

}

1 个答案:

答案 0 :(得分:1)

在Linux下,您可以使用“inotify”工具。它们可能以所有主要的分布到达。这里是wiki:wiki - Inotify

请注意支持的事件列表:

  

IN_CLOSE_WRITE - 关闭为写入而打开的文件时发送

     

IN_CLOSE_NOWRITE - 关闭非写入文件时发送的

这些都是你要找的。我无法在Windows上看到类似的东西。 现在至于使用它们,可以有各种方式。我使用了一个java库jnotify

请注意,该库是跨平台的,因此您不希望使用主类,因为Windows不支持关闭文件的事件。你会想要使用暴露完整linux功能的linux API。只需阅读说明页面即可了解您的要求:jnotify - linux

请注意,在我的情况下,我不得不下载库源代码,因为我需要为64位编译共享对象文件“libjnotify.so”。提供的只能在32位以下工作。也许他们提供它现在你可以检查。

检查示例以获取代码以及如何添加和删除监视。只记得使用“JNotify_linux”类而不是“JNotify”,然后你可以在你的操作中使用一个掩码,例如。

private final int MASK = JNotify_linux.IN_CLOSE_WRITE;

我希望它对你有用。