如何在HDFS上使用SparkStreaming获取文件名

Question

我想在HDFS上监听文件更新，我可以通过

获取输入流

JavaDStream<String> lines=jssc.textFileStream("hdfs://xxxxx")

我可以同时获取新手文件的文件名字符串以及如何获取？

Answer 1

尝试使用此代码。希望能帮助到你... 有方法从rdd获取文件路径，剩下的逻辑去foreachrdd

public static String getFilePath(JavaRDD<String> rdd) {
    UnionPartition upp = (UnionPartition) rdd.partitions().iterator().next();
    NewHadoopPartition npp = (NewHadoopPartition) upp.parentPartition();
    String filePath = npp.serializableHadoopSplit().value().toString();
    return filePath;
}

JavaDStream<String> dstream = jssc.textFileStream("hdfs://xxxxx");
dstream.foreachRDD(new Function<JavaRDD<String>, Void>() {
    @Override
    public Void call(JavaRDD<String> rdd) throws Exception {
        String path = getFilePath(rdd);
        // Other logic with rdd
        return null;
    }
});