如何从DataFrame在Google存储中创建Json文件?

时间:2018-07-03 06:55:21

标签: python google-cloud-platform google-cloud-storage

我有以下代码(Python 2.7):

import pandas as pd
....
pd.DataFrame(response2.json())['results'].to_json('orders.json', orient='records')

这会在我的本地项目中保存一个orders.json文件。 我希望将文件写入Google存储区上的存储桶,而不是本地计算机上。

是否可以直接将文件生成到存储中,还是必须在本地创建然后上传?

我知道应该是这样的:

from google.cloud import storage
storage_client = storage.Client()
bucket = storage_client.get_bucket("MyTestBucket")
blob = bucket.blob("folderName/" + blob?!)
blob.upload_from_filename("orders.json")  # Or something with writing the DataFrame?

有人可以帮忙吗?

1 个答案:

答案 0 :(得分:1)

我发现使用datalab.storage将数据写入Google Cloud Storage更方便。

import datalab.storage as storage
import pandas as pd

# Define sample dataframe to write
df = pd.DataFrame(data=[{1,'product1','description1'},{2,'product2','description2'}],columns=['id','name','description'])

# Define your bucket and write to GCS
storage.Bucket('{your-bucket-name}').item('{folder}/{your-file}.json').write_to(df.to_json(),'text/json')