将pandas Data Frame附加到Google电子表格

时间:2017-08-07 06:45:27

标签: python pandas gspread

案例: 我的脚本返回一个数据框,需要将其作为新的数据行附加到现有的Google电子表格中。截至目前,我通过gspread将数据框作为多个单行添加。

我的代码:

import gspread
import pandas as pd
df = pd.DataFrame()

# After some processing a non-empty data frame has been created.

output_conn = gc.open("SheetName").worksheet("xyz")

# Here 'SheetName' is google spreadsheet and 'xyz' is sheet in the workbook

for i, row in df.iterrows():
    output_conn.append_row(row)

有没有办法追加整个数据框而不是多个单行?

7 个答案:

答案 0 :(得分:8)

我可以推荐gspread-dataframe

import gspread_dataframe as gd

# Connecting with `gspread` here

ws = gc.open("SheetName").worksheet("xyz")
existing = gd.get_as_dataframe(ws)
updated = existing.append(your_new_data)
gd.set_with_dataframe(ws, updated)

答案 1 :(得分:2)

这是编写,附加(无需将现有工作表加载到内存中)和读取到Google工作表的代码。

import gspread_dataframe as gd
import gspread as gs
gc = gs.service_account(filename="your/cred/file.json")

def export_to_sheets(worksheet_name,df,mode='r'):
    ws = gc.open("SHEET_NAME").worksheet("worksheet_name")
    if(mode=='w'):
        ws.clear()
        gd.set_with_dataframe(worksheet=ws,dataframe=df,include_index=False,include_column_header=True,resize=True)
        return True
    elif(mode=='a'):
        ws.add_rows(df.shape[0])
        gd.set_with_dataframe(worksheet=ws,dataframe=df,include_index=False,include_column_header=False,row=ws.row_count+1,resize=False)
        return True
    else:
        return gd.get_as_dataframe(worksheet=ws)
    
df = pd.DataFrame.from_records([{'a': i, 'b': i * 2} for i in range(100)])
export_to_sheets("SHEET_NAME",df,'a')

  1. 写入模式:首先清除现有工作表=> ws.clear() 。然后使用set_with_dataframe()上传数据框, 这里注意resize=True,它严格将工作表中的行和列设置为df.shape。这将在稍后的append方法中提供帮助。
  2. 附加模式:首先,根据数据框添加行。第二,在我们添加行并设置resize=False固定其行值以进行追加时,设置参数row=ws.row_count+1
  3. 读取模式(默认):返回一个数据帧

答案 2 :(得分:1)

我遇到了同样的问题,这就是我所做的 将数据帧转换为列表并使用 gspread 的 append_rows()

    gc = gspread.service_account(filename="credentials.json")
    sh = gc.open_by_key('<your_key>')
    ws = sh.sheet1
    
    ##data is the original data frame
    data_list = data.values.tolist()
    
    ws.append_rows(data_list)

答案 3 :(得分:0)

我想出了以下解决方案。它不会覆盖当前数据,而只是将整个pandas DataFrame df附加到电子表格中名称为sheet的表单spread_sheet的末尾。

import gspread
from google.auth.transport.requests import AuthorizedSession
from oauth2client.service_account import ServiceAccountCredentials

def append_df_to_gs(df, spread_sheet:str, sheet_name:str):
    scopes = [
        'https://spreadsheets.google.com/feeds',
        'https://www.googleapis.com/auth/drive',
    ]
    credentials = ServiceAccountCredentials.from_json_keyfile_name(
        path_to_credentials,
        scopes=scopes
    )
    gsc = gspread.authorize(credentials)
    sheet = gsc.open(spread_sheet)
    params = {'valueInputOption': 'USER_ENTERED'}
    body = {'values': df.values.tolist()}
    sheet.values_append(f'{sheet_name:str}!A1:G1', params, body)

有关参数valueInputOption,请咨询this。我在这里使用USER_ENTERED是因为将数据附加到Google表格后,我需要一些公式才能有效。

答案 4 :(得分:0)

ws = gc.open("sheet title").worksheet("ws")

gd.set_with_dataframe(ws, dataframe)

#简单地将数据框转换为Google工作表

答案 5 :(得分:0)

以下方法,使用gspread,可能有助于理解程序并解决问题

  1. 在您的环境中安装库。

  2. 导入脚本中的库

    import pandas as pd
    import gspread
    from gspread_dataframe import set_with_dataframe
    
  3. Google API console 中创建凭据。

  4. 将以下内容添加到脚本中,以访问 Google Sheet

    gc = gspread.service_account(filename='GoogleAPICredentials.json')
    sh = gc.open_by_key('GoogleSheetID')
    

假设要添加到第一个工作表,请在 0 中使用 get_worksheet(对于第二个工作表使用 1,依此类推)

worksheet = sh.get_worksheet(0)
  1. 然后,为了将数据框导出到 Google Sheet

    df

答案 6 :(得分:-1)

如果Google电子表格采用.csv格式,那么您可以使用df.to_csv()将pandas数据帧转换为csv并以该格式保存

相关问题