如何通过Spark运行HDFS文件系统命令？

Question

我可以为HDFS运行以下命令：

hadoop fs -ls /user/hive/warehouse/databasename.db/tablename

如何在Spark中编写命令以显示HDFS中特定文件夹下的所有文件？

谢谢。

Answer 1

好的，下面的scala代码为您提供了在父路径下打印所有hdfs文件的功能。您可以根据需要对其进行改进。

  def getAllPaths(parentPath:String, fs: FileSystem) = {
    val fileStatus = fs.listStatus(new Path(parentPath))
    for( file<- fileStatus) {
      println(file.getPath.toString)
    }
  }