我是hadoop环境的新手。我加入了一家公司并获得了KT和项目所需的文件。他们让我登录群集并立即开始工作。任何人都可以建议我登录的步骤吗?
答案 0 :(得分:0)
不清楚您登录的是什么。你应该向你的同事寻求建议。
但是,听起来你有一个Kerberos密钥表,你可以运行
kinit -k key.kt
可能还需要其他参数,例如所谓的主体,但只有集群管理员才能回答需要的内容。
验证您的故障单是否有效
klist
答案 1 :(得分:0)
通常,您将拥有边缘节点,即与所有客户端一起安装的客户端节点,如
您需要获取这些计算机的主机名/ IP地址。如果您使用的是Windows,可以使用putty登录这些节点,方法是使用用户名和密码,或者使用为这些节点提供的.ppk
文件。
我视图中的任何公司都有一个基础架构团队,该团队使用Hadoop集群配置LDAP,该集群允许所有用户通过向组角色提供/添加您的ID。
顺便问一下,你在使用Cloudera / Mapr / Hortonworks吗?每个发行版都有自己的方式和最佳实践。
答案 2 :(得分:0)
我假设KT意味着知识转移。项目文档也是关于应用程序而不是Hadoop Cluster / Infra。
我会遵循以下程序: 1)从您的团队或您的TechOps中找出边缘节点(也称为客户端节点)的名称。还要了解您是否将使用某些通用Linux用户(例如" develteam")或者您必须在edge-node上创建用户。
2)假设您正在从Windows访问,请安装一些ssh客户端(如putty)。
3)使用凭据登录边缘节点(对于通用用户或特定用户,如#1)。
4)运行以下命令检查您是否在Hadoop集群上:
> hadoop version
5)输入以下命令来试用hive shell:
> hive
6)尝试按照HDFS命令运行:
> hdfs dfs -ls /
6)询问团队成员在哪里可以找到该群集的Hadoop配置。您很可能没有写入权限,但可能是您可以使用以下文件来了解群集:
core-site.xml
hdfs-site.xml
yarn-site.xml
mapred-site.xml