我完成了第一个spark应用程序的创建。为了了解它的性能,我需要大文件(.csv)来进行一些测试和实验来监控我的应用程序,以便对其进行调整。
我们都知道数据的大小会对结果产生严重影响,但我拥有的所有files.csv都很小,所以我无法信任或确认我得到的结果。
如何获取大尺寸文件?请帮帮我
我需要大尺寸:
10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB.....
答案 0 :(得分:1)
1)通过使用您喜欢的任何语言编写数据生成代码,例如Java,C,C ++,可以生成大量数据。
2)Jmeter也是一种生成通常用于性能测试的大量数据的工具
希望这个帮助!!! ..