使用to_gbq将大熊猫数据帧上传到BigQuery重写整数

时间:2018-11-30 18:15:34

标签: python pandas google-bigquery

我需要将〜1000个数据帧上传到BigQuery,我正在使用pandas.io.gbq.to_gbq

我有这样的代码:

to_gbq(df, tableid, projectid, chunksize=10000, if_exists='append')

我也正在将所有这些数据帧写入csv,并且数据看起来都不错,但是,当将dfs上传到bigquery时,对于某些dfs熊猫来说,我只是确定我的整数列之一是浮点型,所以我有这行强制熊猫将其读取为整数的代码

df = df.astype({"ISBN": int})

然后,我查看了推送到BigQuery中的数据,架构不匹配错误消失了,但是数字都与CSV导出中的数字不同(我想与原始数据帧中的数字相同)...

例如,现在CSV中的ISBN 9781607747307在BigQuery表中显示为1967214315

要进行故障排除,我打印了数据框的dtype,并注意到上一行迫使该列为INT64 dtype,而在未进行astype转换的列之前为INT32 dtype。

我可以让熊猫看到ISBN列为整数,但在上传到bigquery时不更改数字吗?

提前谢谢!

0 个答案:

没有答案