重命名在hadoop中创建的文件 - Spark

时间:2017-12-22 07:12:09

标签: hadoop apache-spark spark-dataframe

通过write在HDFS中创建的文件有自己的命名约定。要将其更改为自定义名称,可以使用hadoop fs -mv oldname newname

通过脚本选项

Spark / Hadoop中是否还有其他选项可以为创建的文件提供自定义名称。

1 个答案:

答案 0 :(得分:5)

Apache Spark不为hdfs中的文件系统操作提供任何Api。但您始终可以使用Hadoop文件系统API在HDFS中重命名该文件。 Check这可以获得有关Hadoop文件系统API的更多详细信息。对于重命名,以下内容将起作用:

val conf = new Configuration();
val fileSystem = FileSystem.get(conf);
fileSystem.mkdir(new Path(newhdfs_dirPath));
fileSystem.rename(new Path(existinghdfs_dirpath+oldname), new Path(newhdfs_dirPath+newname));