标签: scala apache-spark parameters hive config
我在spark中使用hive,编写Scala代码,通过hive上下文执行hive sql,并通过spark提供的提交脚本提交jar。我可以通过添加
/xx/xx/spark-submit --conf "xxx.xxx=xx" ...
在我项目的开始脚本中。
但是如何在scala代码或shell脚本中设置hive.groupby.skewindata = true等参数?