无法将pysaprk的数据帧写入mysql数据库

Question

我是一只新兴的蜜蜂。我正在尝试将pyspark数据帧写入mysql数据库。我收到一个空指针异常。

这与Spark giving Null Pointer Exception while performing jdbc save中提到的Avro格式有什么关联。

请让我知道如何解决此错误。

代码：

spark = SparkSession.builder.master("spark://*******:7077").appName("amazon-insights").config("spark.executor.memory", "6gb").config("spark.jars","/usr/local/spark/jars/mysql-connector-java-5.1.45-bin.jar").getOrCreate()

reviews.write.jdbc(url="jdbc:mysql:://**host***:3306/sparkjobs",table="reviews",mode="append",properties={"driver": "com.mysql.jdbc.Driver","user":"****","password":"****"})

错误：

  

py4j.protocol.Py4JJavaError：调用时发生错误   o545.jdbc。 ：java.lang.NullPointerException           在org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation（JdbcRelationProvider.scala：99）           在org.apache.spark.sql.execution.datasources.SaveIntoDataSourceCommand.run（SaveIntoDataSourceCommand.scala：45）           在org.apache.spark.sql.execution.command.ExecutedCommandExec.sideEffectResult $ lzycompute（commands.scala：70）