无法使用新的File.listFiles列出hdfs目录中的文件

Question

我正在尝试列出的文件夹有完全权限，但仍然没有。请在这里输入代码：

scala> new File("hdfs://mapdigidev/apps/hive/warehouse/da_ai.db/t_fact_ai_pi_ww").listFiles
res0: Array[java.io.File] = null

Answer 1

您可以使用hadoop库列出hadoop中的文件：

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}

val fs = FileSystem.get(new URI("hdfs://mapdigidev"), new Configuration())
val files = fs.listFiles(new Path("/apps/hive/warehouse/da_ai.db/t_fact_ai_pi_ww"), false)

但是java.io并不了解hadoop / hdfs。