如何使用Spark sql与Teradata进行并行连接

时间:2018-09-16 05:32:41

标签: pyspark apache-spark-sql teradata pyspark-sql

我正在尝试使用spark sql jdbc连接将Spark DataFrame插入Teradata表。

代码:

properties = {
    "TMODE","TERA",
    "TYPE","FASTLOAD"
}
jdbcUrl = "jdbc:teradata://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}?user=${jdbcUsername}&password=${jdbcPassword}"
df.write.jdbc(url=jdbcUrl, table="someTable", mode='append', properties=properties)

但是当我执行作业时,它仅运行一个执行程序和一个与teradata的连接。

如何与Teradata进行并行连接,要与Teradata进行多个并行连接,需要包含什么属性?

更新:

我正在浏览这个databricks博客,它说,根据DataFrame中的分区数量,它将创建多个连接。

https://docs.databricks.com/spark/latest/data-sources/sql-databases.html

0 个答案:

没有答案