使用Spark Scala检查Google存储桶或文件是否存在

时间:2019-03-26 05:42:30

标签: scala apache-spark google-cloud-platform google-cloud-storage

我想使用spark-scala检查Google存储桶是否存在。如果不存在,请创建它。

有人可以帮忙吗?

1 个答案:

答案 0 :(得分:0)

要访问Google云端存储桶,请使用Google Cloud Client libraries

  1. 要检查存储桶是否存在,请使用get_bucket method,还可以访问bucket metadata
  2. 要创建新存储桶,请使用create_bucket method

请注意,为了读取/写入存储桶,需要set proper permissions for the storage