是否可以使用python for循环在pyspark中重复一个步骤

时间:2016-06-06 21:55:39

标签: apache-spark pyspark apache-spark-sql spark-dataframe

是否可以在pyspark中执行类似的操作来遍历列表中的每个值并读取子文件?

这里的目标是将目录中的app-name作为列值添加到表中,并在写入数据时将其用于分区。

s3具有Json文件的位置:“s3a:// abc / processing / test / raghu / date / app-name /”

window.onload

0 个答案:

没有答案