学习亚马逊网络服务的好书

时间:2011-12-23 05:48:33

标签: amazon-s3 hadoop amazon-web-services

我想了解一些可以帮助我快速入门的好书以及一些可以帮助我正确学习AWS的书籍。我的实际目标是使用EC2& amp; S3。

1 个答案:

答案 0 :(得分:2)

我不确定是否有任何书籍仅涵盖AWS-EC2。

“我的目标是使用EC2和S3建立Hadoop集群。”

AWS-EC2消除了设置自己的群集以运行Hadoop作业的复杂性(或能力!)。

使用EC2动态和静态

可以通过两种方式启动Hadoop集群

在动态模式下,启动新群集以运行hadoop作业,并在作业完成后将输出保存在S3(或某处)群集中将消失。

在静态模式下,群集将保持活动状态,您可以连接到进一步分析。 您还可以向现有群集提交新的Hadoop作业。

查看他们的ruby客户端“elastic-mapreduce”手册以获取更多详细信息。

您可以传递给elastic-mapreduce

的参数示例

--create:创建新群集

--alive:完成工作后让它保持活力

--num-instances:群集中的节点数

--instance-type:每个任务跟踪器的类型/数据节点小/大

-j:向现有群集提交作业。你只需要传递job_id

More details