将RDD的每一行写入密钥指定的文件中

时间:2019-07-15 09:38:09

标签: python azure dataframe pyspark rdd

我有以下格式的RDD :(路径,数据),路径是一个字符串,数据是一个熊猫数据框。 我想以分布式方式将每个数据帧写入键中指定的文件。 另外,我正在使用Azure DataBrick,需要将这些数据保存在Azure DataLake中。

我试图在地图中将数据框转换为RDD和Spark DataFrame,但无法访问地图中的构建器。

0 个答案:

没有答案