Question

我正在尝试通过pyspark作业在dataproc中加载postgres数据库。我的代码在本地火花中工作，但由于驱动程序问题我在数据采集器中工作有问题。我尝试通过jarFileUris加载它们，在jarFileUris中指定它们（尝试使用google存储uri，本地uri。如果可能的话，更喜欢存储uri）并指定驱动程序。这是我的代码的一部分：

'properties':{
    ...
    'driver':'org.postgresql.Driver'
    ....
}
'jarFileUris':'file:///home/infra/postgresql-42.1.4.jar'

有人知道正确的方法吗？我总是面对没有合适的司机问题。如果有人需要，这是错误代码。

py4j.protocol.Py4JJavaError: An error occurred while calling o58.load.
: java.sql.SQLException: No suitable driver
    at java.sql.DriverManager.getDriver(DriverManager.java:315)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$7.apply(JDBCOptions.scala:84)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$7.apply(JDBCOptions.scala:84)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:83)
    at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:34)
    at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:32)
    at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:306)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
    at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:146)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
    at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
    at py4j.Gateway.invoke(Gateway.java:280)
    at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
    at py4j.commands.CallCommand.execute(CallCommand.java:79)
    at py4j.GatewayConnection.run(GatewayConnection.java:214)
    at java.lang.Thread.run(Thread.java:748)

谢谢！

Answer 1

好的，似乎我不必在提交作业时添加有关驱动程序的其他信息，但在创建数据框时将它们添加到options / property。

用于pyspark作业的GCP Dataproc JDBC驱动程序

1 个答案: