大家好,这是我的代码,我正在尝试将spark配置为kafka使用者,但出现错误异常 Web UI绑定到0.0.0.0或nat ip:4040的第一个问题,我在浏览器第二个问题中找不到,我将其写在底部,感谢您的帮助:
################################################ ######“”“导入org.apache.spark.sql.functions._ 导入org.apache.spark.sql.SparkSession Teal对象扩展App { val spark = SparkSession .builder() .master(“ local []”) .appName(“ teal”) .getOrCreate() 导入spark.implicits._ val df = spark.readStream .format(“ kafka”) //。setMaster(“ local []”) .option(“ kafka.bootstrap.servers”,“ 127.0.0.1:9090”) .option(“订阅”,“测试”) 。加载() df.selectExpr(“ CAST(关键字为AS字符串)”,“ CAST(关键字为AS值)”) .as [(String,String)] val query = df.writeStream .outputMode(“完整”) .format(“控制台”) 。开始() }
################################################ #################“问题是:线程“主”中的异常org.apache.spark.sql.AnalysisException:无法找到数据源:kafka。请按照“结构化流+ Kafka集成指南”的部署部分部署应用程序。 在org.apache.spark.sql.execution.datasources.DataSource $ .lookupDataSource(DataSource.scala:652) 在org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:161)