如何登录实时公司hadoop集群?

时间:2018-04-24 02:19:13

标签: hadoop kerberos hadoop2

我是hadoop环境的新手。我加入了一家公司并获得了KT和项目所需的文件。他们让我登录群集并立即开始工作。任何人都可以建议我登录的步骤吗?

3 个答案:

答案 0 :(得分:0)

不清楚您登录的是什么。你应该向你的同事寻求建议。

但是,听起来你有一个Kerberos密钥表,你可以运行

kinit -k key.kt

可能还需要其他参数,例如所谓的主体,但只有集群管理员才能回答需要的内容。

验证您的故障单是否有效

klist 

答案 1 :(得分:0)

通常,您将拥有边缘节点,即与所有客户端一起安装的客户端节点,如

  1. HDFS客户端
  2. Sqoop Client
  3. Hive Client等。
  4. 您需要获取这些计算机的主机名/ IP地址。如果您使用的是Windows,可以使用putty登录这些节点,方法是使用用户名和密码,或者使用为这些节点提供的.ppk文件。

    我视图中的任何公司都有一个基础架构团队,该团队使用Hadoop集群配置LDAP,该集群允许所有用户通过向组角色提供/添加您的ID。

    顺便问一下,你在使用Cloudera / Mapr / Hortonworks吗?每个发行版都有自己的方式和最佳实践。

答案 2 :(得分:0)

我假设KT意味着知识转移。项目文档也是关于应用程序而不是Hadoop Cluster / Infra。

我会遵循以下程序: 1)从您的团队或您的TechOps中找出边缘节点(也称为客户端节点)的名称。还要了解您是否将使用某些通用Linux用户(例如" develteam")或者您必须在edge-node上创建用户。

2)假设您正在从Windows访问,请安装一些ssh客户端(如putty)。

3)使用凭据登录边缘节点(对于通用用户或特定用户,如#1)。

4)运行以下命令检查您是否在Hadoop集群上:

> hadoop version  

5)输入以下命令来试用hive shell:

> hive

6)尝试按照HDFS命令运行:

> hdfs dfs -ls /

6)询问团队成员在哪里可以找到该群集的Hadoop配置。您很可能没有写入权限,但可能是您可以使用以下文件来了解群集:

core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml