我正在设计一个有500个索引的系统，每个索引都是基于具有数百万行的表的计算，我在表之间加入并执行各种相当复杂的逻辑，因此通常单个查询需要10个几分钟左右。我目前在mysql中这样做，我没有做任何并行的事情。因此，第一个指数计算需要10分钟，下一个指数需要10分钟，第三个指数需要10分钟，而第500个指数需要10分钟......这需要很长时间！
人们通常如何构建许多基于许多表和行的复杂计算的索引？他们只是并行做吗？他们会投入更多硬件吗？我可以遵循最佳实践吗？
答案 0 :(得分：0)
这是Google的大查询旨在解决的问题。 https://cloud.google.com/bigquery/what-is-bigquery
答案 1 :(得分：0)
Shard-Query是并行执行MySQL查询的代码。