有关使用Hive建立Spark“（CDH 4.2.0），纱线（Hadoop 2.4.0）”的信息？

Question

我打算在EC2上创建Spark。默认的spark_ec2.py下载了一个预构建的软件包（Hadoop 1.0.4为1，CDH 4.2.0为2，yarn（Hadoop 2.4.0）），但它没有'-Phive -Phive-thriftserver'选项。大多数情况下，我需要使用Hive UDF，它必须从源代码构建。 （我也需要YARN，因为'Hive on Spark支持YARN模式下的Spark作为默认值。'）

“构建Spark”页面说明了许多示例，它似乎是

的混合

Cloudera CDH 4.2.0 with MapReduce v1

mvn -Dhadoop.version=2.0.0-mr1-cdh4.2.0 -Phadoop-1 -DskipTests clean package

和

支持Hive 13的Apache Hadoop 2.4.X

mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

（来源：http://spark.apache.org/docs/latest/building-spark.html）

目前，以下是我能想到的

mvn -Pyarn -Dhadoop.version=2.4.0-mr1-cdh4.2.0 -Phadoop-1 -Phive -Phive-thriftserver -DskipTests clean package

任何人都可以告知上述内容是否正确或让我知道我可以从中学到的任何其他资源吗？

谢谢。

Answer 1

我被误解为private BroadcastReceiver receiver = new BroadcastReceiver() { @Override public void onReceive(Context context, Intent intent) { if (intent.getAction().equals(ApplicationConstants.MY_BROADCAST)) { //Log.v("", "inside on receiver-"); showDialog(intent.getStringExtra(ApplicationConstants.MESSAGE)); } } }; 有3个选项：

• “1”表示Hadoop 1.0.4
• “2”表示CDH 4.2.0（mr1）
• “纱线”适用于Hadoop 2.4.0

我使用 @Override protected void onStop() { super.onStop(); if (receiver != null) { LocalBroadcastManager.getInstance(this).unregisterReceiver(receiver); } } 并且能够通过以下方式成功构建。

--hadoop-major-version