thirdCateBrandres.createOrReplaceTempView("tempTable2")
sql("insert overwrite table temp_cate3_Brand_List select * from tempTable2")
上面的代码,thirdCateBrandres
是一个spark DataFrame
,注册为临时表,然后写入表temp_cate3_Brand_List
,该表有30亿行,有7个字段,数据大小ORC + SNAPPY格式约为4GB。
这些代码大约需要20分钟。
如何加快程序的速度?