我正在尝试使用spark sql jdbc连接将Spark DataFrame插入Teradata表。
代码:
properties = {
"TMODE","TERA",
"TYPE","FASTLOAD"
}
jdbcUrl = "jdbc:teradata://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}?user=${jdbcUsername}&password=${jdbcPassword}"
df.write.jdbc(url=jdbcUrl, table="someTable", mode='append', properties=properties)
但是当我执行作业时,它仅运行一个执行程序和一个与teradata的连接。
如何与Teradata进行并行连接,要与Teradata进行多个并行连接,需要包含什么属性?
更新:
我正在浏览这个databricks博客,它说,根据DataFrame中的分区数量,它将创建多个连接。
https://docs.databricks.com/spark/latest/data-sources/sql-databases.html