如何让大文件进行实验

时间:2016-08-11 20:05:40

标签: performance csv testing apache-spark cluster-computing

我完成了第一个spark应用程序的创建。为了了解它的性能,我需要大文件(.csv)来进行一些测试和实验来监控我的应用程序,以便对其进行调整。

我们都知道数据的大小会对结果产生严重影响,但我拥有的所有files.csv都很小,所以我无法信任或确认我得到的结果。

如何获取大尺寸文件?请帮帮我

  

我需要大尺寸:

 10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB..... 

1 个答案:

答案 0 :(得分:1)

1)通过使用您喜欢的任何语言编写数据生成代码,例如Java,C,C ++,可以生成大量数据。

2)Jmeter也是一种生成通常用于性能测试的大量数据的工具

希望这个帮助!!! ..