我提交了一个Bigquery加载作业,它运行并返回状态成功。但是这些数据没有进入指标表。
以下是运行的命令:
/usr/local/bin/bq load --nosynchronous_mode --project_id=ardent-course-601 --job_id=logsToBq_load_impressions_20140816_1674a956_6c39_4859_bc45_eb09db7ef99a --source_format=NEWLINE_DELIMITED_JSON dw_logs_impressions.impressions_20140816 gs://sm-uk-hadoop/queries/logsToBq_transformLogs/impressions/20140816/9307f6e3-0b3a-44ca-8571-7107c399998c/part* /opt/sm-analytics/projects/logsTobqMR/jsonschema/impressionsSchema.txt
我检查了作业logsToBq_load_impressions_20140816_1674a956_6c39_4859_bc45_eb09db7ef99a的作业状态。输入文件的数量和大小显示了正确的输入文件数和总大小。
有谁知道为什么这些数据没有进入表格,但工作报告成功?
为了防止这不是我们的错误,我再次运行加载作业,但是运行到另一个目标表,这次将数据放入目标表中。
谢谢。
答案 0 :(得分:0)
这是非常令人惊讶的,但我已经通过日志证实确实如此。
不幸的是,8月16日运行的这份工作的详细日志已不再可用。我们正在调查最近是否会影响其他工作。如果你再次看到这个问题,请ping这个帖子。
答案 1 :(得分:0)
我最近在没有结算帐户的情况下在沙盒模式下使用BigQuery体验了这一点。 在此模式下,分区有效期自动设置为60天。如果您将数据加载到分区列(例如日期)超过60天的表中,则该数据不会显示在该表中。正确的输出行数仍然可以使加载作业成功。