当前,我正在使用sqoop从Oracle到HDFS提取少量数据。我正在使用Cdh 5.12.1和sqoop 1.4.6 每当我运行sqoop命令时,它都会运行Mapreduce引擎,众所周知,这非常普遍。 但是我从online了解到我们可以使用Spark作为处理引擎 通过设置以下属性
org.apache.sqoop.execution.engine=org.apache.sqoop.execution.spark.SparkExecutionEngine
我不确定是否需要将此文件放入spark-site.xml
文件中?
还有一种在运行时选择发动机类型的方法吗?如果是,应该是什么参数?请建议