如何模仿hadoop工作

Question

我试图理解假冒在hadoop环境中的运作方式。 我找到了一些资源，如： 关于doAs和代理用户 - hadoop-kerberos-guide 和关于令牌 - delegation-tokens。

但是我无法通过完整的操作流程连接所有的点。 我目前的理解是：

1. 用户执行kinit并执行面向最终用户的程序，如 直线，火花提交等。
2. 该程序是特定于应用程序并获取HDFS的服务票据
3. 然后它获得了在工作期间可能需要的所有服务的令牌 将令牌保存并保存在HDFS目录中。
4. 程序然后连接一个作业执行者（使用服务票据） 工作执行者??）例如带有作业信息和令牌路径的纱线。
5. 作业执行者获得tocken并初始化UGI和所有 使用令牌和kerberos票证与HDFS进行通信 没用过。

上述高级别理解是否正确？ （我有更多的跟进查询。） 可以跳过令牌机械，并且每个都只使用kerberos 层，如果是这样，任何资源都会有所帮助。

我的最终目标是编写一个带有模拟支持的火花连接器 对于不使用hadoop（令牌）的数据存储系统 支持kerberos。

谢谢＆amp;问候 -SRI