我可以使用spark-submit将数据并行写入Google Bigquery吗?

时间:2019-01-17 22:25:41

标签: apache-spark pyspark google-bigquery spark-submit

我有一个Python脚本,该脚本使用spark将文件转换为镶木地板,然后写入大查询。它写入大型查询,并使用Google api一次写入每个查询。

spark-submit writeToBQ.py --tables=table1,table2,table3 

我可以利用spark和worker以某种方式并行地编写每个表吗?我不确定是否可以做到。我想做类似的事情:

spark-submit writeToBQ.py --tables=table1 
spark-submit writeToBQ.py --tables=table2 
spark-submit writeToBQ.py --tables=table3 

并行运行。

0 个答案:

没有答案