如何对Amazon S3等云存储系统进行基准测试

Question

我开发了一个云存储系统，它使用与Amazon S3相同的API结构。现在我想对获取对象数据和对象元数据进行一些性能测试。通过这种方式，我可以将我的系统与Amazon S3，OpenStack存储和其他系统进行比较。

我已经了解了一些常见的文件系统基准测试工具，将它们转换为云存储系统的工作量太大了。

我正在寻找一些类似于SIEGE的基准测试工具，它们不仅可以提供性能http请求，而且还具有一些工作负载模拟功能。例如，一个模拟可以将整个静态HTML网站存储在云存储中，然后执行一些工作负载压力测试等。

有人可以帮助并建议一些现有的框架或工具，这些框架或工具可以相对容易地适应这种云存储系统基准测试场景吗？

Answer 1

您可以查看COSBench，这是一种对对象存储云服务进行基准测试的工具。

Answer 2

可在此处找到一个很好的综合工作：http-benchmark

对于模拟和工作量，我建议Locust或Tsung。 蝗虫有一个很好的UI和Tsung支持更多的协议。

以下是过时/过时的5年回答

由于您是云系统的提供商。 您应该想要进行基准测试。

作为提供者

• 服务的可用性，冗余。
• 随着时间的推移带宽，随着时间的推移。
• 对存储解决方案进行分段。
• 责任/恢复/故障转移到mecanicals / electricals failure。
• 默认缓存＆amp; “大规模随机访问”或“串行访问”中的缓存溢出

对于所有的东西，有特定工具/ api /控件。有时它与您的硬件密切相关，有时甚至更少。但是硬件与软件之间的联系导致了具体的测量和集成问题。定义什么是基准测试或从'objet存储api'到磁盘的“端到端”查询路由可能很难。如果你的目标是获得一个基准（在最高级别的api中），这可能会改善你的系统，那么你唯一的解决方案就是完全控制（和理解）你的云系统;

Nagios类似工具，不适合此类测试。您需要CMDB和一些获取大型数据导向存储的工具。您需要了解基准测试的所有解决方案都是主要数据，而且由于云可能非常复杂，因此存在大量数据。您将从数据中学到的不仅仅是一些图形数据，还有一些如何提出问题。即使获得权利问题也会要求你工作。

正如我在第一个简短回答中所说，我们使用VMware VMmark来进行这种测试，但这只是一小部分。有一个非常多的工具（juste做一些实时监控 - 基准测试），一个人无法全部了解它们。一项工作，我正在做一些人工智能编程（用于故障检测的贝叶斯网络，用于重新编程的演化算法......）以便更好地管理这些事情。

只是为了取笑你：你是否希望在安装新客户端时，进行基准测试，交换另外两个客户端的存储空间并同时运行最后一个客户端的应急计划？

正确的基准应涵盖如此多的案例。今天云必须管理世界的复杂性，每一个混乱的事件;什么都不应该分发服务。所以只是说什么是基准是非常困难的。

（喂养cmdb本身就是一个挑战）

作为客户

是的:-)我也是云服务提供商的客户，就像每个人在不久的将来都会做的那样。 只是一点点背景。 Openstack最初由具有特定需求的组织发布（只是认为，在'openstack'api'的'Compute'部分中，没有任何与共享/集群处理相关的内容与lhc消耗的内容相似。那么普通网站是什么？ Youtube？亚马逊？即使只是一个例子，“整个静态HTML网站”也很难用于比较云解决方案。

本周我在将vCloud api转换为openstack（松散松散游戏）方面做得很好，vCloud很明确，有更多的openstack对象，但即便如此，我们只是满足了应用程序管理的这么少的需求

那么客户如何比较两种云解决方案呢？事实上，在尝试他自己的解决方案之前，他不能。这就是为什么客户来访问我们，询问我们正在使用什么以及如何使用我们的流程...最终商业广告的工作，通常几个月免费收费只是为了安装客户端并找到我们应该做什么来重新配置我们的云应用程序。很少有客户知道他们使用了多少cpu / ram / disk / iops;他们中的一些人购买了他们永远不会使用的专用资源（因为我们不能与其他客户共享）。

然后，普通网站的任何基准测试工具都应该完成这项工作。 如果你想玩，可以使用swiftstack和tempest这样的openstack“内部”工具来获得某种反馈，但是你必须定义网站的正常使用方式。如果您寻找相关的openstack产品，您还应该查看wiki。但是如果你想要的只是A比你设定的条件B更快，那么它作为一个客户就几乎不可能了。

我相信已经解释了为什么到目前为止没有任何“客户”回答你的问题，而你的问题在许多商业/工业/生态方面至关重要。