Question

我尝试了

./spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1 test.py

在我自己的计算机上，一切都很好。但是，当我在学校的服务器上尝试后，它显示以下消息和错误。我已经在Google搜索了很长时间，却一无所知。谁能帮我吗？

常春藤默认缓存设置为：/home/zqwang/.ivy2/cache   软件包存储在：/home/zqwang/.ivy2/jars ::加载设置:: url   = jar：文件：/data/opt/tmp/zqwang/spark-2.3.1-bin-hadoop2.7/jars/ivy-2.4.0.jar！/org/apache/ivy/core/settings/ivysettings.xml   org.apache.spark＃spark-sql-kafka-0-10_2.11添加为依赖项::   解决依赖关系::   org.apache.spark＃spark-submit-parent-26b526c6-0535-4007-8428-e38188af5709; 1.0     confs：[默认] ::解析报告::解析966ms ::工件   dl 0ms ::正在使用的模块：


| |模块||文物|     | conf |编号|搜索|发现|逐出||编号| dwnldd |


|默认值1 | 0 | 0 | 0 || 0 | 0 |


::问题摘要:: ::::找不到警告模块：   org.apache.spark＃spark-sql-kafka-0-10_2.11; 2.3.1

==== local-m2-cache：已尝试

文件：/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3 .1.pom
-- artifact
org.apache.spark＃spark-sql-kafka-0-10_2.11; 2.3.1！spark-sql-kafka-0-10_2.11.jar：

文件：/home/zqwang/.m2/repository/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3 .1.jar

==== local-ivy-cache：尝试

/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-10_2.11/2.3.1/ivys/ivy.xml
-- artifact
org.apache.spark＃spark-sql-kafka-0-10_2.11; 2.3.1！spark-sql-kafka-0-10_2.11.jar：

/home/zqwang/.ivy2/local/org.apache.spark/spark-sql-kafka-0-10_2.11/2.3.1/jars/spark-sql-kafka-0-10_2.11.jar

====中央：已尝试

https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom
-- artifact
org.apache.spark＃spark-sql-kafka-0-10_2.11; 2.3.1！spark-sql-kafka-0-10_2.11.jar：

https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar

==== spark-packages：已尝试

http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom
-- artifact
org.apache.spark＃spark-sql-kafka-0-10_2.11; 2.3.1！spark-sql-kafka-0-10_2.11.jar：

http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar
  ::::::::::::::::::::::::::::::::::::::::::::::

  ::          UNRESOLVED DEPENDENCIES         ::

  ::::::::::::::::::::::::::::::::::::::::::::::

  :: org.apache.spark#spark-sql-kafka-0-10_2.11;2.3.1: not found

  ::::::::::::::::::::::::::::::::::::::::::::::
:::::错误URL上的服务器访问错误   https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom   （java.net.ConnectException：连接被拒绝）

URL上的服务器访问错误   https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar   （java.net.ConnectException：连接被拒绝）

URL上的服务器访问错误   http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom   （java.net.ConnectException：连接被拒绝）

URL上的服务器访问错误   http://dl.bintray.com/spark-packages/maven/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.jar   （java.net.ConnectException：连接被拒绝）

::使用VERBOSE或DEBUG消息级别获取更多详细信息   线程“主” java.lang.RuntimeException：[未解决的依赖关系：   org.apache.spark＃spark-sql-kafka-0-10_2.11; 2.3.1：找不到]   org.apache.spark.deploy.SparkSubmitUtils $ .resolveMavenCoordinates（SparkSubmit.scala：1303）     在   org.apache.spark.deploy.DependencyUtils $ .resolveMavenDependencies（DependencyUtils.scala：53）     在   org.apache.spark.deploy.SparkSubmit $ .doPrepareSubmitEnvironment（SparkSubmit.scala：364）     在   org.apache.spark.deploy.SparkSubmit $ .prepareSubmitEnvironment（SparkSubmit.scala：250）     在org.apache.spark.deploy.SparkSubmit $ .submit（SparkSubmit.scala：171）     在org.apache.spark.deploy.SparkSubmit $ .main（SparkSubmit.scala：137）     在org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）

Answer 1

但是我在学校的服务器中尝试过后，它显示以下消息和错误

您的学校有一个防火墙，阻止下载远程软件包。

此链接对我有用，例如

网址为https://repo1.maven.org/maven2/org/apache/spark/spark-sql-kafka-0-10_2.11/2.3.1/spark-sql-kafka-0-10_2.11-2.3.1.pom的服务器访问错误（java.net.ConnectException：连接被拒绝）

您需要在学校外下载Kafka罐子，然后使用--jars标志向其提交

无法解决Spark结构化的流式Kafka依赖性

1 个答案: