我需要将〜1000个数据帧上传到BigQuery,我正在使用pandas.io.gbq.to_gbq
我有这样的代码:
to_gbq(df, tableid, projectid, chunksize=10000, if_exists='append')
我也正在将所有这些数据帧写入csv,并且数据看起来都不错,但是,当将dfs上传到bigquery时,对于某些dfs熊猫来说,我只是确定我的整数列之一是浮点型,所以我有这行强制熊猫将其读取为整数的代码
df = df.astype({"ISBN": int})
然后,我查看了推送到BigQuery中的数据,架构不匹配错误消失了,但是数字都与CSV导出中的数字不同(我想与原始数据帧中的数字相同)...
例如,现在CSV中的ISBN 9781607747307在BigQuery表中显示为1967214315
要进行故障排除,我打印了数据框的dtype,并注意到上一行迫使该列为INT64 dtype,而在未进行astype转换的列之前为INT32 dtype。
我可以让熊猫看到ISBN列为整数,但在上传到bigquery时不更改数字吗?
提前谢谢!