Question

我们安装了一个新的Spark版本，因此所有文件夹名称都命名为：

ls /etc/hadoop/
2.6.4.0-91  conf  conf.backup

从spark-submit我们得到

spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.2.0.2.6.4.0-91
      /_/

我需要的是确定火花版本 - 2.6.4.0-91 。我们可以这样做：

ls /etc/hadoop/ | grep [0-9]
2.6.4.0-91

但这种方法不太好（因为其他文件夹名称可能有，等等。）

我们得到了spark-submit --version

version 2.2.0.2.6.4.0-91

虽然我们只需要版本 - 2.6.4.0-91 ，（没有2.2.0 ）

任何想法如何获得版本 - 没有（2.2.0）spark-submit --version？

Answer 1

因为hadoop安装在linux机器上，

为：

rpm -qa |grep hadoop | grep client
hadoop_2_6_4_0_91-client-2.7.3.2.6.4.0-91.x86_64

然后我可以使用 hdp-select 命令来获取所需的HDP版本

 hdp-select |  grep hadoop-client | awk '{print $3}'
 2.6.4.0-91

或：

hdp-select | grep hadoop-client
hadoop-client - 2.6.4.0-91

通过Spark获取HDP版本

1 个答案: