spark-sql 1.3编写镶木地板的速度比spark-sql 2.4快得多

时间:2019-02-05 16:27:34

标签: apache-spark

我正在尝试将代码从Spark 1.3迁移到Spark 2.4。

代码是Java,代码以镶木地板形式编写Row的Dataframe,并用4分钟的时间完成spark-sql 1.3的方法:

createDataFrame(rddRow,sb.getStructType())。saveAsParquetFile(s)

但是当我尝试将代码迁移到spark-sql 2.4中的等效代码时,方法:

createDataFrame(rddRow,sb.getStructType())。write()。parquet(s);

永无止境。我已经等了3个小时了,它在应该存放镶木地板文件的地方创建了一个tmp文件夹。

时态文件名类似于“ attempt_20190205171717_0008_m_000000_0”

我在Windows的本地计算机上的Eclipse中运行了程序。

有人知道发生了什么吗?。

0 个答案:

没有答案