Question

使用Hortonworks HDP 2.3预览沙箱（oozie：4.2.0.2.3.0.0-2130，spark：1.3和Hadoop：2.7.1.2.3.0.0-2130），我试图使用oozie spark动作调用“纱团”作为主人。 Oozie Spark Action中提供的示例用于在“local”master上运行spark操作。

同一页面也建议能够在Yarn上运行，火花装配罐应该可用于火花动作。

我有两个问题

我们如何为Spark Action提供火花装配罐？我应该在oozie spark动作中使用jar元素吗？

当我提交作业而未明确添加程序集jar时，我收到以下错误

Private Sub CommandButton1_Click()
Dim emptyRow As Long

'Determine emptyRow
emptyRow = WorksheetFunction.CountA(Range("A:A")) + 1

'Transfer information
 Cells(emptyRow, 1).Value = TextBox1.Value
 Cells(emptyRow, 2).Value = 
 Cells(emptyRow, 3).Value =
 Cells(emptyRow, 4).Value = UCase(TextBox4.Value)
 Cells(emptyRow, 3).Value = UCase(TextBox2.Value)


 End With
 Cells(emptyRow, 6).Value = Sheets("Front").Range("V31")

 Unload Me
 Application.ActiveWorkbook.Save
 ParcelDataEntry.Show

 End Sub

感谢关于如何解决问题的任何指示。

Answer 1

对于YARN，没有为HDP2.3中的Oozie分发的用于火花动作的默认sharelib。

如果你已经通过hortonworks发行版安装了spark，那么你只需用已安装的版本替换sparkl动作的sharelib内容。

E.g。（作为oozie用户）

hadoop fs -mv /user/oozie/share/lib/spark /user/oozie/share/lib/spark-bak
hadoop fs -mkdir /user/oozie/share/lib/spark
hadoop fs -put /usr/hdp/current/spark-client/lib/* /user/oozie/share/lib/spark
hadoop fs -cp /user/oozie/share/lib/spark-bak/oozie* /user/oozie/share/lib/spark

SparkAction用于纱线簇

1 个答案: