使用Spark Local从GCS加载数据

时间:2019-03-08 08:10:50

标签: python-3.x intellij-idea pyspark google-cloud-platform python-unittest

我正尝试从本地计算机上的GCS存储桶读取数据,以进行测试。我想对云中的一些数据进行采样 我已经下载了GCS Hadoop Connector JAR

并按照以下步骤设置sparkConf

conf = SparkConf() \
    .setMaster("local[8]") \
    .setAppName("Test") \
    .set("spark.jars", "path/gcs-connector-hadoop2-latest.jar") \
    .set("spark.hadoop.google.cloud.auth.service.account.enable", "true") \
    .set("spark.hadoop.google.cloud.auth.service.account.json.keyfile", "path/to/keyfile")

sc = SparkContext(conf=conf)

spark = SparkSession.builder \
    .config(conf=sc.getConf()) \
    .getOrCreate()

spark.read.json("gs://gcs-bucket")

我也试图像这样设置conf:

sc._jsc.hadoopConfiguration().set("fs.AbstractFileSystem.gs.impl",  "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS")
sc._jsc.hadoopConfiguration().set("fs.gs.auth.service.account.json.keyfile", "path/to/keyfile")
sc._jsc.hadoopConfiguration().set("fs.gs.auth.service.account.enable", "true")

我正在通过PIP使用PySpark安装,并使用IntelliJ中的单元测试模块运行代码

py4j.protocol.Py4JJavaError: An error occurred while calling o128.json.
: java.io.IOException: No FileSystem for scheme: gs

我该怎么办?

谢谢!

1 个答案:

答案 0 :(得分:0)

要解决此问题,除了已经配置的属性外,还需要添加fs.gs.impl属性的配置:

sc._jsc.hadoopConfiguration().set("fs.gs.impl", "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem")