从gcs bucket通过python脚本读取文件的问题

时间:2017-08-18 19:50:07

标签: python google-app-engine google-cloud-storage

我正在尝试打开gcs存储区中的csv文件来读取内容并在BigQuery中相应地处理数据。我能够列出存在于存储桶中的csv,但无法打开它。我的代码如下:

with cloudstorage.open(bucket_name/gs_file,"r+") as csvFile:
     reader = csv.reader(iter(csvFile.readline,''), delimiter = '|')
     csvfilearray = next(reader)
     print (csvfilearray)

获得以下错误:

  

NameError:name' cloudstorage'未定义

导入的cloudstorage如下:

import cloudstorage as gcs

再次尝试使用gcs.open,但仍然是错误:

File "./GCS_Connection_Test.py", line 10, in <module>
    import cloudstorage as gcs
ImportError: No module named cloudstorage

任何人都可以请求如何打开GCS上的文件进行处理。

1 个答案:

答案 0 :(得分:1)

根据您的app.yaml文件,您处于灵活的环境中。

您使用GoogleAppEngineCloudStorageClient,这是一个标准的环境库(就像appengine-gcs-client),您需要使用google-cloud-storage库,请参阅Edit project configuration and install dependencies部分{ 3}}指南,这是你需要遵循的指南。

您还遵循了安装库的标准环境说明,您需要使用灵活的环境说明,请参阅Using Cloud Storage

一般说明:在doc页面URL中查找docs/flexible vs docs/standard字符串以区分它们(或者显示在文档左侧导航栏顶部附近的环境类型,您可以需要向上滚动才能看到它)