Talend大数据批量Spark工作与上下文(https://jira.talendforge.org/browse/TUP-16698)

时间:2017-04-17 17:27:33

标签: hadoop apache-spark talend

你能帮我解决下面的问题......

我有一个Talend BigData批处理作业(Spark),如下所示

tOracleInput ---> tMap - > tAvroOutput

我可以通过在Spark配置中使用我的开发Hadoop存储库连接来成功运行此作业。但是,当我用上下文变量替换Spark配置并在运行时传递它们时,作业没有运行..所以我发现了当我使用存储库连接时问题Talend正在构建一个像#34; hadoop-conf这样的jar文件 - "在job libraries文件夹中,这个jar文件是haivng所有hadoop配置文件,如(core-site.xml,hive-site.xml,mapred-site.xml,yarn-site.xml等等) )

那么现在如何在运行时传递这些属性?因此,我的工作可以在Pre-Prod或Prod中运行,而不会通过Talend持续集成进行任何更改。

JIRA网址: - https://jira.talendforge.org/browse/TUP-16698

0 个答案:

没有答案