Confluent-kafka（使用kerberos）在集群模式下提交火花python作业时出错

Question

在集群模式下提交python作业时，我遇到以下错误：

  

appcache / application_1548793257188​​_803870 / container_e80_1548793257188​​_803870_01_000001 / environment / lib / python2.7 / site-packages / confluent_kafka / init .py”，   第2行       从.cimpl import（Consumer，＃noqa ImportError：librdkafka.so.1：无法打开共享库文件：没有这样的文件或   目录

librdkafka和其他python依赖项仅安装在边缘节点上。 在提交之前，我创建一个虚拟环境并通过以下方式pip install confluent-kafka：

pip install --trusted-host pypi.org --trusted-host files.pythonhosted.org --no-binary :all: confluent-kafka

然后，我创建environment.tar.gz并将其传递给--archives进行提交

我尝试设置如下火花属性：

--conf spark.executorEnv.LD_LIBRARY_PATH=/usr/lib64:environment/lib/python2.7/site-packages/confluent_kafka/.libs"
--conf spark.driver.extraLibraryPath=/usr/lib64:environment/lib/python2.7/site-packages/confluent_kafka/.libs"
--conf spark.yarn.appMasterEnv.LD_LIBRARY_PATH=environment/lib/python2.7/site-packages/confluent_kafka/.libs"

但不幸的是，它没有用！

有人遇到同样的问题吗？