如何执行ETL过程性能测试

时间:2016-11-18 05:20:13

标签: java performance jmeter performance-testing etl

我被要求进行ETL过程的性能测试。我使用Jmeter进行Web应用程序的性能测试,但这是我第一次被要求为ETL进程执行此操作。经过研究,我认为我想要实现的是以下步骤,但不知道如何实现它们。

步骤

  • 验证数据加载和查询是否在预期的时间范围内执行
  • 验证在可接受的时间范围内加载的最大数据量
  • 使用各种数据量验证加载时间以预测可伸缩性

注意:我们公司没有使用任何工具来测试ETL过程,他们使用java进行测试,因此对于性能测试,我将不会提供任何付费工具,我将不得不使用开源技术。我的技能包括java,Jmeter。

2 个答案:

答案 0 :(得分:0)

我认为没有任何特定的ETL测试工具。 您仍然可以参考由底层ETL工具生成的日志文件,这些文件将具有CPU使用/数据的执行/处理时间等。

答案 1 :(得分:0)

我认为没有特别的工具可以对ETL过程进行性能测试。

但我们仍然可以使用ETL工具通过为每个进程生成日志来监控加载过程,在我的情况下,我们使用Informatica Powercenter监视器。我们通过检索的日志手动计算加载时间,吞吐量等参数