将Spark配置为Kafka消费者问题SCALA

时间:2019-04-14 02:51:15

标签: streaming

大家好,这是我的代码,我正在尝试将spark配置为kafka使用者,但出现错误异常 Web UI绑定到0.0.0.0或nat ip:4040的第一个问题,我在浏览器第二个问题中找不到,我将其写在底部,感谢您的帮助:

################################################ ######“”“

导入org.apache.spark.sql.functions._ 导入org.apache.spark.sql.SparkSession Teal对象扩展App {   val spark = SparkSession     .builder()     .master(“ local []”)     .appName(“ teal”)     .getOrCreate()   导入spark.implicits._   val df = spark.readStream     .format(“ kafka”)     //。setMaster(“ local []”)     .option(“ kafka.bootstrap.servers”,“ 127.0.0.1:9090”)     .option(“订阅”,“测试”)     。加载()   df.selectExpr(“ CAST(关键字为AS字符串)”,“ CAST(关键字为AS值)”)     .as [(String,String)]   val query = df.writeStream     .outputMode(“完整”)     .format(“控制台”)     。开始() }

################################################ #################“

问题是:线程“主”中的异常org.apache.spark.sql.AnalysisException:无法找到数据源:kafka。请按照“结构化流+ Kafka集成指南”的部署部分部署应用程序。     在org.apache.spark.sql.execution.datasources.DataSource $ .lookupDataSource(DataSource.scala:652)     在org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:161)

0 个答案:

没有答案