如何使用pyspark在每次迭代中使用不同的名称将数据帧结果保存在hive表中

时间:2018-05-15 05:22:46

标签: dataframe pyspark apache-spark-sql

我有一个数据帧,我使用saveAsTable命令将结果存储在hive表中。我希望我的代码可以在多个国家/地区运行,并将结果存储为每个国家/地区的不同名称的表格。

示例:假设我有一个带有国家/地区名称列表的变量

options=['AR', 'AT', 'AU', 'CA' ,'CH']
s=input("Enter your country code")
if s in options:
  country_cd=s
else:
 print("invalid country code")

现在基于country_cd变量我希望将结果保存在df

df.write.mode("overwrite").saveAsTable("amankeshar.table_{country_cd}")

表格应与国家/地区名称一起存储。 需要帮助来实现它。

0 个答案:

没有答案