我正在尝试将数据框另存为表,并且想知道是否可以设置默认的路径配置,以简化生活。
我知道这可行:
df.write.saveAsTable("mytable", path='s3a://mybucket/mybucketlocation')
但是可以使用此命令
df.write.saveAsTable("mytable")
在Spark配置中发挥相同的作用吗?
目前,我已经设置了此配置,但是并没有解决问题。
('spark.sql.warehouse.dir', 's3a://mybucket/mybucketlocation')