熊猫数据框到BigQuery引发NotImplementedError

时间:2019-03-14 15:43:46

标签: python pandas dataframe google-bigquery

我一直在尝试将数据从Pandas DataFrame上载到BigQuery表,但是我一直遇到新问题。

我正在执行以下步骤:

  1. 从API调用数据,然后将响应分配给 变量:result[]。此变量是嵌套列表 字典。
  2. 要将此嵌套字典列表转换为数据框,请使用以下命令(以'_'分隔:new_df = json_normalize(result, sep='_')
  3. 结果看起来不错,并且似乎使用以下信息正确创建了数据框(请参见第4点)
  4.   

    class'pandas.core.frame.DataFrame'RangeIndex:833个条目,0到832   列:137个条目,card_billing_addr1至subscription_updated_at   dtypes:bool(4),float64(17),int64(17),object(99)   内存使用量:868.9+ KB

  5. 现在是时候将DataFrame上载到BigQuery了,而不是使用pandas-gbq工具,我正在使用official cloud documentation并尝试使用以下代码行来上载DataFrame:
client = bigquery.Client()
dataset_ref = client.dataset('dataset_name')
table_ref = dataset_ref.table('table_name')

client.load_table_from_dataframe(new_df, table_ref).result()

之后,我不断收到错误消息:

NotImplementedError: struct<key_1: string, key_2: string, ..., key_n: int64,>

我不知道从哪里开始解决这个问题。是否有人对如何解决此问题有解决方法或更好的建议?

0 个答案:

没有答案