熊猫to_gbq方法DataFrame模式与表不匹配

时间:2018-07-03 02:52:07

标签: python pandas automation google-bigquery data-warehouse

我们正在开发一个应用程序,并正在从中收集统计信息。最初,我们将统计信息转储到googl工作表上,因此我们将其下载为csv并将数据上传到bigquery。我们使用所需的模式成功上传了数据。

当我们重新运行该应用程序并添加一个步骤将其上传到包含初始数据的测试表时,gbq会告诉我们以下错误:

  

请验证DataFrame中的结构和数据类型是否匹配   目标表的模式。

我尝试将表格与要上传的数据进行比较。

a.dtypes (bigquery table)
Out[16]: 
start_timestamp    datetime64[ns]
name               object
url                object
email              object
destination        object
database           object
update_timestamp   datetime64[ns]
query_info         object
query_runtime      float64
error_log          object
dtype: object


upload_df.dtypes (df being uploaded)
Out[17]: 
start_timestamp    datetime64[ns]
name               object
url                object
email              object
destination        object
database           object
update_timestamp   datetime64[ns]
query_info         object
query_runtime      float64
error_log          object
dtype: object

它们具有相同的架构很奇怪,但是pandas gbq给出了错误。

感谢您提供任何帮助或指导来解决此问题!

0 个答案:

没有答案