Question

我需要使用Python自动将本地csv文件上传到Google Cloud存储桶。我可以使用哪个Python库？任何示例代码都将非常感激。

Answer 1

我们可以使用google python客户端api将文件上传到谷歌云端存储。

首先，按如下方式安装api客户端。

>pip install --upgrade google-api-python-client

然后，启用api身份验证以获取应用程序默认凭据。

>gcloud beta auth application-default login

以下是使用应用程序默认凭据将本地文件上传到Google云端存储的示例代码。

from googleapiclient import discovery
from oauth2client.client import GoogleCredentials

credentials = GoogleCredentials.get_application_default()
service = discovery.build('storage', 'v1', credentials=credentials)

filename = 'C:\\MyFiles\\sample.csv'
bucket = 'my_bucket'

body = {'name': 'dest_file_name.csv'}
req = service.objects().insert(bucket=bucket, body=body, media_body=filename)
resp = req.execute()

这将在my_bucket中上传文件。上传文件的完整google存储网址为gs：//my_bucket/dest_file_name.csv

Answer 2

另一种方式如此link所示。

首先，连接到云

from gcloud import storage
client = storage.Client()

然后选择存储桶并选择远程文件名

bucket = client.get_bucket('<your-bucket-name>')
blob = bucket.blob('remote_file.txt')

最后，上传本地文件。我更喜欢以下方式，但是还有其他方式。

blob.upload_from_filename('local_file_txt')

如果您有一个变量，则上一行要求您将变量写入磁盘，然后上载，这可能不是最好的方法。相反，您可以直接从字符串写入Blob。

blob.upload_from_string('this is test content!')

Answer 3

您无需导入任何库。您可以为方法的/ upload URI创建POST请求，并添加查询参数

uploadType=media

例如：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media

添加名称查询参数以标识与上传相关联的资源。

例如，要指定对象的名称是myObject：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject

将文件的数据添加到请求正文中。添加以下HTTP标头：

的Content-Type。设置为要上载的对象的MIME媒体类型。
内容长度。设置为要上载的字节数。如果您使用分块传输编码，则不需要此标题。

示例上传：

POST https://www.googleapis.com/upload/storage/v1/b/myBucket/o?uploadType=media&name=myObject HTTP/1.1
Content-Type: [csv]
Content-Length: [NUMBER_OF_BYTES_IN_FILE]
Authorization: Bearer [YOUR_AUTH_TOKEN]

[DATA]

Answer 4

你可以使用pandas库。请遵循以下示例：

import pandas as pd
tobq = pd.read_csv("local.csv")
pd.io.gbq(tobq, "big_query_table_name", "project_name", private_key="big_query_private_key.json")

使用Python将CSV文件上传到Google云端存储

4 个答案: