Question

我正在从unix cli运行scala_script.scala并收到错误：enycription key missing，而相同的scala代码在spark-shell中正常运行。

代码用于访问hive表，在数据帧中加载它，处理一些转换，然后再次：write.mode("append/overwrite").saveAsTable("my_db.my_table")。代码是：

import org.apache.spark.sql.hive.HiveContext;
val hc = new org.apache.spark.sql.hive.HiveContext(sc)
val tb_applicant_details=hc.sql("SELECT * FROM staging_mps_25.applicant_details")
tb_applicant_details.write.mode("overwrite").insertInto("spark_tests.new_test_person")

Answer 1

一个好的方法是使用spark-shell：load＆＃34; path_to_script＆＃34;。另一个是在spark-shell -i命令中给出正确的驱动程序--driver和set --master yarn，用于运行脚本。喜欢， spark-shell -i --master yarn --driver＆＃34; com.correct.driver＆＃34;完整/绝对/路径/到/ script.scala

来自CLI的scala / spark脚本

1 个答案: