亚马逊Ec2的原型设计

Question

人们（以及创业公司）如何实际在亚马逊上进行原型设计/部署，并保持合理的成本？上个月我们正在尝试一些特定的应用程序并运行自己的hadoop集群，并设法花费近1.5k用于测试？当然 - 他们有微型实例，但如果你的应用程序如此密集，实际上需要更大的实例甚至测试呢？所以我想了解一下人们如何做到这一点？

Answer 1

几个关键问题：

1. 考虑用于某些目的的本地测试平台＆amp;考虑给定的测试是否确实需要EC2。如果真的很难将2-4台机器用作Hadoop的测试平台，那就有一个不同的问题。随时了解您将要运行的任何内容，Hadoop将如何发挥作用，并为此付出代价。随着时间的推移，您还需要更改网格，升级软件，修改其他想法等。当您转到EC2时，您已经平滑了一些粗糙的边缘。
2. 在获取物品时，请勿使用容量较大的机器。如果您在此阶段没有推动大量数据或计算周期，请不要打扰群集计算节点，大量RAM实例等。只需专注于正确设置内容。
3. 当您准备重新定位到更强大的计算机时，请尝试几种不同的计算机设置。也许群集计算实例会得到回报，也许你不需要那种吞吐量：在你知道瓶颈之前，不要超支。
4. 确保在测试阶段经常使用spot实例。您通常会支付约50％的按需价格。
5. 如果您想要为按需实例付费，请根据需要启动和停止Hadoop实例 - 除非您在群集计算实例上需要一个大型群集。
6. 准备你的AMI尽快启动（1分钟以内），如果没有必要，不要让任何事情在一夜之间或周末过夜。

在您建立并运行系统之前，您基本上需要支付学费才能学习如何根据您的需求量身定制所有内容。只需支付“学费”来学习每一课（配置，瓶颈，扩大规模等），而不是试图一次性承担所有事情。当你把它作为一系列课程来学习时，花钱不那么痛苦，但只要你知道你要测试和学习什么，你也会更明智地花钱。

最后，将1500美元与这种学习经历的劳动力成本进行比较 - 从长远来看，这可能不是什么大问题。一旦你知道某些东西将是一个合理的计算工作块，它设计得很好，并且会很快完成（尽管在许多机器上），花钱就不会那么痛苦。现在，很难理解你正在学习什么，因为它还没有使你的组织目标受益。

Answer 2

在进行使用Amazon Cloud的概念验证时解决成本问题。

我使用Amazon AWS API创建了一个轻量级Java应用程序，当我想对它们运行测试时，它会创建亚马逊云实例。测试完成或无法启动后，应用程序会立即通过发送诊断邮件来终止实例。

因此，没有亚马逊实例保持运行或坐着理想。如果您手动创建/终止或通过单独的程序，可能会发生这种情况。

Answer 3

考虑使用现场实例。如果你出价过高，你几乎可以肯定它不会被终止。从长远来看，它们在预留实例级别上有价格，但您不需要预先付款。我相信你也可以安排非高峰时段的测试，达到更好的价格，或者如果现货实例价格超过按需价格，则切换到按需--Hadoop应该很好地处理它。检查this article about spot instances。它还引用了另外两篇分析现场实例潜力的文章。