使用R或SparkR重命名Azure Data Lake Storage上的组合文件

时间:2018-12-07 20:36:59

标签: r apache-spark azure-data-lake sparkr databricks

我正在Databricks上使用以下SparkR代码将Spark数据帧写入Azure Data Lake Storage。

spark_df %>% coalesce(1L) %>%
write.df("...azuredatalakestore.net/...folder_name/", source = "csv", mode = "overwrite", header = "true")

我看到了一些其他文件以及看起来像“ part-0000 ... csv”的主要组合文件。我需要将其名称更改为“ alpha.csv”。

在使用scala,java,pyspark等的解决方案时,我已经看到许多关于此主题的问题,但是使用R或SparkR却没有明确的解决方案。

请提出R或SparkR代码解决方案。

0 个答案:

没有答案