我正在尝试将代码从Spark 1.3迁移到Spark 2.4。
代码是Java,代码以镶木地板形式编写Row的Dataframe,并用4分钟的时间完成spark-sql 1.3的方法:
createDataFrame(rddRow,sb.getStructType())。saveAsParquetFile(s)
但是当我尝试将代码迁移到spark-sql 2.4中的等效代码时,方法:
createDataFrame(rddRow,sb.getStructType())。write()。parquet(s);
永无止境。我已经等了3个小时了,它在应该存放镶木地板文件的地方创建了一个tmp文件夹。
时态文件名类似于“ attempt_20190205171717_0008_m_000000_0”
我在Windows的本地计算机上的Eclipse中运行了程序。
有人知道发生了什么吗?。