Question

有没有办法将hbase.rpc.timeout传递给一个通过shell脚本调用的spark作业。我知道我们可以在自己的spark作业中创建HBaseConfiguration时设置hbase.rpc.timeout值。但我想从shell传递值。

类似的东西：

 ${SPARK_SUBMIT} 
    --class mySpark \
    --num-executors ${NUM_EXECUTORS} \
    --master yarn-cluster \
    --deploy-mode cluster \
    --hbase.rpc.timeout 600000 . \
    ${SPARK_JAR} "${START_TIME}" "${END_TIME}" "${OUTPUT_PATH}" 2>&1 | tee -a ${logPath}

Answer 1

有两种方法

regrad hbase.rpc.timeout 600000作为应用程序参数。并在SPARK_JAR
喜欢你想要的--conf hbase.rpc.timeout=600000。然后sparkContext.getConf().get("hbase.rpc.timeout")

为火花工作设置hbase参数

1 个答案: