EC2中的数据密集型流程 - 任何提示?

时间:2013-03-06 19:27:54

标签: amazon-web-services amazon-ec2 oracle11g etl

我们正在尝试在Amazon EC2上的高I / O实例中运行ETL过程。在设备齐全的笔记本电脑(带SSD)上本地处理相同的过程大约需要1/6的时间。此过程基本上将数据(3000万行左右)从平面表转换为同一Oracle实例中的第3个普通表单模式。

关于可能减慢我们速度的任何想法?

1 个答案:

答案 0 :(得分:0)

或者另一种选择是简单地离开AWS并使用像Rackspace这样的SSD租用健壮的盒子(原始硬件)。

我们已将大多数ETL流程从AWS / EMR中移除。我们将大部分内容托管在Rackspace上,并获得更多的CPU /存储/性能。不要误解我的意思AWS太棒了但是有一点不合算。最重要的是,您永远不知道他们是如何真正管理/虚拟化适用于您的特定应用程序的硬件。

我的两分钱。