如何使用jupyter笔记本添加kafka

时间:2019-05-16 17:46:10

标签: jar pyspark

我在添加jar文件后无法运行kafka与python(jupyter笔记本),我的代码未运行并给出错误。请告诉我如何将kafka与pycharm和jupyter Notebook的任何python IDE连接

我试图在jupter笔记本中运行它,这是一个简单的字数统计程序,而jupyter笔记本中没有数据。然后,我尝试使用命令行提交python脚本,但仍显示一些错误

bin / spark-submit --jars --master spark:// Ubuntu:7077 /home/user/spark-2.4.3-bin-hadoop2.7/jars/spark-streaming-kafka-0-8- assembly_2.11-2.4.3.jar

线程“ main”中的异常org.apache.spark.SparkException:无法从具有URI spark的JAR spark:// Ubuntu:7077加载主类。请通过--class指定一个类。     在org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:657)     在org.apache.spark.deploy.SparkSubmitArguments.loadEnvironmentArguments(SparkSubmitArguments.scala:224)     在org.apache.spark.deploy.SparkSubmitArguments。(SparkSubmitArguments.scala:116)     在org.apache.spark.deploy.SparkSubmit $$ anon $ 2 $$ anon $ 1。(SparkSubmit.scala:911)。     在org.apache.spark.deploy.SparkSubmit $$ anon $ 2.parseArguments(SparkSubmit.scala:911)     在org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:81)     在org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit(SparkSubmit.scala:924)     在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:933)     在org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

0 个答案:

没有答案