你能帮我解决下面的问题......
我有一个Talend BigData批处理作业(Spark),如下所示
tOracleInput ---> tMap - > tAvroOutput
我可以通过在Spark配置中使用我的开发Hadoop存储库连接来成功运行此作业。但是,当我用上下文变量替换Spark配置并在运行时传递它们时,作业没有运行..所以我发现了当我使用存储库连接时问题Talend正在构建一个像#34; hadoop-conf这样的jar文件 - "在job libraries文件夹中,这个jar文件是haivng所有hadoop配置文件,如(core-site.xml,hive-site.xml,mapred-site.xml,yarn-site.xml等等) )
那么现在如何在运行时传递这些属性?因此,我的工作可以在Pre-Prod或Prod中运行,而不会通过Talend持续集成进行任何更改。