Question

我是新来的火花，我有一个用例，其中我必须将数据帧数据保存在mysql中，我得到以下代码来做到这一点：

data_frame.write.format('jdbc').options(
    url='URI',
    driver='com.mysql.jdbc.Driver',
    dbtable=table_name,
    user=user_name,
    password='your_password').mode('append').save()

但是当我批准代码时，出现以下错误：

    File "/usr/local/Cellar/apache-spark/2.3.1/libexec/python/lib/py4j-0.10.7-src.zip/py4j/protocol.py", line 328, in get_return_value
py4j.protocol.Py4JJavaError: An error occurred while calling o207.save.
: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

我可能会错过非常详细的细节。有人可以在这里帮我吗。预先感谢。

Answer 1

错误描述清楚地表明，它无法找到jdbc驱动程序类。您将必须使用

包含com.mysql.jdbc.Driver的jar。

pyspark --jars  <jar-file-location>

看到这个问题-（How to add third party java jars for use in pyspark）

如何使用pyspark在mysql中保存数据帧

1 个答案: