我有一个Python脚本,该脚本使用spark将文件转换为镶木地板,然后写入大查询。它写入大型查询,并使用Google api一次写入每个查询。
spark-submit writeToBQ.py --tables=table1,table2,table3
我可以利用spark和worker以某种方式并行地编写每个表吗?我不确定是否可以做到。我想做类似的事情:
spark-submit writeToBQ.py --tables=table1
spark-submit writeToBQ.py --tables=table2
spark-submit writeToBQ.py --tables=table3
并行运行。