Question

我正在使用Python 2.7和Google Cloud Client Library for Python（v0.27.0）将数据插入BigQuery表（使用table.insert_data（））。

我表格中的一个字段的类型为“DATE”。

在我的Python脚本中，我已将日期数据格式化为“YYYY-MM-DD”，但不幸的是，Google Cloud库为该字段返回了“无效日期：”错误。

我尝试过多种方式格式化日期字段（例如'YYYYMMDD'，时间戳等），但到目前为止没有运气......

不幸的是，API文档（https://googlecloudplatform.github.io/google-cloud-python/latest/）没有提及Python中所需的日期格式/类型/对象。

这是我的代码：

from google.cloud import bigquery
import pandas as pd
import json
from pprint import pprint
from collections import OrderedDict

# Using a pandas dataframe 'df' as input

# Converting date field to YYYY-MM-DD format

df['DATE_VALUE_LOCAL'] = df['DATE_VALUE_LOCAL'].apply(lambda x: x.strftime('%Y-%m-%d'))

# Converting pandas dataframe to json

json_data = df.to_json(orient='records',date_format='iso')

# Instantiates a client
bigquery_client = bigquery.Client(project="xxx")

# The name for the new dataset
dataset_name = 'dataset_name'
table_name = 'table_name'

def stream_data(dataset_name, table_name, json_data):
    dataset = bigquery_client.dataset(dataset_name)
    table = dataset.table(table_name)

    data = json.loads(json_data, object_pairs_hook=OrderedDict)

    # Reload the table to get the schema.
    table.reload()

    errors = table.insert_data(data)

    if not errors:
        print('Loaded 1 row into {}:{}'.format(dataset_name, table_name))
    else:
        print('Errors:')
        pprint(errors)

stream_data(dataset_name, table_name, json_data)

将我的日期插入BigQuery DATE字段所需的Python日期格式/类型/对象是什么？

Answer 1

我只是在这里模拟你的代码，一切正常。这就是我模拟的内容：

import pandas as pd
import json
import os
from collections import OrderedDict
from google.cloud.bigquery import Client

d = {'ed': ['3', '5'],
     'date': ['2017-10-11', '2017-11-12']}
json_data = df.to_json(orient='records', date_formate='iso')
json_data = json.loads(json_data, object_pairs_hook=OrderedDict)

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = '/key.json'
bc = Client()
ds = bc.dataset('dataset name')
table = ds.table('table I just created')
table = bc.get_table(table)
bc.create_rows(table, json_data)

它使用的是0.28.0版本，但它仍然与之前版本的方法相同。

你可能在某些步骤中犯了一些错误，可能是将日期转换为BQ的其他一些无法识别的格式。尝试使用此脚本作为参考，以查看代码中可能出现的错误。

BigQuery使用Python Google Cloud库

1 个答案: