Question

需要在亚马逊EMR引导操作上安装一些软件包和二进制文件，但我找不到任何使用它的示例。

基本上，我想安装python包，并指定每个hadoop节点使用这个包来处理s3桶中的项目，这里是一个样本frpm boto。

                      name='Image to grayscale using SimpleCV python package',
                      mapper='s3n://elasticmapreduce/samples/imageGrayScale.py',
                      reducer='aggregate',
                      input='s3n://elasticmapreduce/samples/input',
                      output='s3n://<my output bucket>/output'

我需要让它使用SimpleCV python包，但不知道在哪里指定它。如果没有安装怎么办，如何安装呢？有没有办法避免等待安装完成，是否可以在某处安装它并只引用python包？

Answer 1

引导操作有一个 boto.emr.bootstrap_action.BootstrapAction 类。

如下所示定义它。大多数代码来自boto example page。

import boto.emr
from boto.emr.bootstrap_action import BootstrapAction

action = BootstrapAction(name="Bootstrap to add SimpleCV",
                         path="s3n://<my bucket uri>/bootstrap-simplecv.sh")

conn = boto.emr.connect_to_region('us-west-2')
jobid = conn.run_jobflow(name='My jobflow',
                         log_uri='s3://<my log uri>/jobflow_logs',
                         steps=[step],  # step defined elsewhere
                         bootstrap_actions=[action])

您需要定义引导操作。如果你需要另一个版本的Python，那么它可以节省在同一台计算机上预编译它的时间，tar它，把它放在一个S3存储桶中，然后在引导程序中解压缩它。

#!/bin/sh
# filename: bootstrap-simplecv.sh  (save it in an S3 bucket)
set -e -x

sudo apt-get install python-setuptools
sudo easy_install pip 
sudo pip install -U SimpleCV

我认为您可以让bR内的EMR实例旋转，以便引导程序仅在您的会话中第一次出现。在你退出之前要小心关闭它们，这样你就不会对你的账单感到惊讶。

如何在代码中的亚马逊EMR引导动作上安装自定义包？

1 个答案: