标签： apache-spark hadoop performance-testing scaling
开发环境和生产环境的容量通常不同（即开发群集明显弱于生产群集）。
考虑到两个环境中的数据量相似（通过生成虚假数据或消毒prod数据），理性答案将是“＃34;如果它适用于较小的群集，它应该适用于较大的群集＆＃34 ;。但是如何使用Spark应用程序，其主要目标是尽可能安全地从群集中获取最佳效果，最快速地实现结果，如何测试最佳spark参数，分区的数量和大小，合理的广播变量大小？