pyspark + Jupyter笔记本+ Kerbros通过Windows 10上的Keytab文件对HDFS进行身份验证

Question

请提供帮助，如何使用keytab和主体配置kerberos身份验证，以便在Windows 10的Jupyter Notebook中使用Pyspark访问HDFS文件。

以下是详细信息：

1. 我们已在Windows 10上安装了独立的Spark
2. 将Jupyter笔记本与Anacond一起使用
3. 我们需要通过Keytab和主体使用Kerberos身份验证来访问远程HDFS avro文件。

当前也使用blow命令调用jupyter notbook来加载avro jar文件。

c：> pyspark --jars C：\ spark-avro-2.11.0.jar