Question

我正在设置一个每日cron作业，它向BigQuery表附加一行（使用Python），但是，正在插入重复数据。我在线搜索过，我知道有一种方法可以手动remove duplicate数据，但我想知道我是否可以首先避免这种重复。

有没有办法检查BigQuery表，看看数据记录是否已经存在第一个，以避免插入重复数据？感谢。

CODE SNIPPET

import webapp2
import logging
from googleapiclient import discovery
from oath2client.client import GoogleCredentials

PROJECT_ID = 'foo'
DATASET_ID = 'bar'
TABLE_ID = 'foo_bar_table’

class UpdateTableHandler(webapp2.RequestHandler):
    def get(self):
        credentials = GoogleCredentials.get_application_default()
        service = discovery.build('bigquery', 'v2', credentials=credentials)

    try:

     the_fruits = Stuff.query(Stuff.fruitTotal >= 5).filter(Stuff.fruitColor == 'orange').fetch();

     for fruit in the_fruits:
       #some code here

     basket = dict()
     basket['id'] = fruit.fruitId
     basket['Total'] = fruit.fruitTotal
     basket['PrimaryVitamin'] = fruit.fruitVitamin
     basket['SafeRaw'] = fruit.fruitEdibleRaw
     basket['Color'] = fruit.fruitColor
     basket['Country'] = fruit.fruitCountry

            body = {
                'rows': [
                    {
                        'json': basket,
                        'insertId': str(uuid.uuid4())
                    }
                ]
            }

            response = bigquery_service.tabledata().insertAll(projectId=PROJECT_ID,
                                                              datasetId=DATASET_ID,
                                                              tableId=TABLE_ID,
                                                              body=body).execute(num_retries=5)
            logging.info(response)

    except Exception, e:
        logging.error(e)

app = webapp2.WSGIApplication([
    ('/update_table', UpdateTableHandler),
], debug=True)

Answer 1

测试数据是否已存在的唯一方法是运行查询。

如果表中有大量数据，那么查询可能会很昂贵，因此在大多数情况下，我们建议您继续插入副本，然后再合并重复项。

正如Zig Mandel在评论中建议的那样，如果您知道希望查看记录的日期，则可以查询日期分区，但与插入和删除重复项相比，这可能仍然很昂贵。

在插入BigQuery表之前检查数据是否已经存在（使用Python）

1 个答案: