Google BigQuery vs Spark和Parquet

时间:2017-05-29 06:30:49

标签: google-bigquery apache-spark-sql parquet

Google BigQuery与Apache Spark SQL和Parquet相比如何?

说BigQuery实际上是存储和放大器是否正确?分析,因此您可以将产品拆分为BigQuery Storage和BigQuery Analysis?

据我所知,还有很多其他存储机制和处理引擎,但要选择2对“...”

根据我的理解,可以说BigQuery Storage与Apache Parquet相当,BigQuery Analysis与Spark SQL相当吗?

说BigQuery存储实际上被称为Capacitor是否正确......“BigQuery的下一代柱状存储格式”?

说Apache Parquet和BigQuery Storage都提供Dremel的实现也是正确的吗?

1 个答案:

答案 0 :(得分:1)

Capacitor是BigQuery使用的文件格式,而存储是整个分布式系统来托管文件&数据。 Dremel是底层执行引擎。以下是一些介绍(https://cloud.google.com/blog/big-data/2016/01/bigquery-under-the-hood)。