Question

我正在比较SQL Server 2016（Star Schema和使用基于列的聚簇索引）和BigQuery（一个单一表）之间的数据集市中的查询执行时间。我有大约2000万个条目。这是我的疑问 - 我需要月份明智的石油，天然气，水量。我每天都会单独订阅10年。我有6500个实体，每个实体有10年的石油，天然气，水的单一进入......总行数... 6500（总实体）* 10（总年）* 365（总天数）= 23725000。 .ignore闰年现在

BigQuery - 遗留SQL（耗时5秒）

SELECT [ASSET] AS [ASSET],
                  SUM([Measurements.GAS]) AS[sum_Measurements_GAS_ok],
                  SUM([Measurements.OIL]) AS[sum_Measurements_OIL_ok],
                  SUM([Measurements.WATER]) AS[sum_Measurements_WATER_ok],
                  STRFTIME_UTC_USEC(TIMESTAMP(TIMESTAMP_TO_MSEC(Measurements.DATE)), '%Y-%m') as [month]
                FROM [datamanager-dashboard:bigquerysample.initial_va_schema_v3][initial_va_schema_v3]
                GROUP BY 1, 5

SQL Server 2016 - 星型架构（耗时2秒） - 在Google Compute Engine中运行VM - n1-standard-4

SELECT [dim_asset_types].[asset_name] AS Asset,
            SUM([fact_well_volume_events].[gas]) AS [sum:gas:ok],
            SUM([fact_well_volume_events].[oil]) AS [sum:oil:ok],
            SUM([fact_well_volume_events].[water]) AS [sum:water:ok],
            DATEADD(month, DATEDIFF(month, 0, [fact_well_volume_events].[measurement_date]), 0) AS [tmn:measurement_date:ok]
            FROM [dbo].[dim_asset_types] [dim_asset_types]
            INNER JOIN [dbo].[xref_well_to_asset_type] [xref_well_to_asset_type] ON ([dim_asset_types].[dim_asset_type_key] = [xref_well_to_asset_type].[dim_asset_type_key])
            INNER JOIN [dbo].[dim_wells] [dim_wells] ON ([xref_well_to_asset_type].[dim_well_key] = [dim_wells].[dim_well_key])
            INNER JOIN [dbo].[fact_well_volume_events_with_calculations] [fact_well_volume_events] ON ([dim_wells].[dim_well_key] = [fact_well_volume_events].[dim_well_key])
            GROUP BY [dim_asset_types].[asset_name],DATEADD(month, DATEDIFF(month, 0, [fact_well_volume_events].[measurement_date]), 0)

我只给出了一个例子，但它发生了各种不同的查询。我错过了什么吗？为什么BigQuery这么慢？

编辑：我正在附加示例模式......它不完整..

[
  {
    "name": "ASSET",
    "type": "STRING"
  },
  {
    "name": "Measurements",
    "type": "record",
    "mode": "repeated",
    "fields": [
      {
        "name": "DATE",
        "type": "TIMESTAMP"
      },
      {
        "name": "OIL",
        "type": "FLOAT"
      },
      {
        "name": "WATER",
        "type": "FLOAT"
      },
      {
        "name": "GAS",
        "type": "FLOAT"
      }
    ]
  }
]

Answer 1

与SQL Server通过Datamarts进行小型查询相比，BigQuery不会为您提供更好的结果。 BigQuery可以很好地处理大量查询，但固定时间始终为几秒钟。它需要创建一个执行计划并将其分发到不同的计算机上，这需要时间。

SQL Server与BigQuery的区别在于，您可以对原始数据运行大型查询（没有Datamarts），并且在SQL Server可能需要几分钟或几小时的查询中，BigQuery会花费不到一分钟的时间。

BigQuery比SQL Server慢

1 个答案: