如何查看哪一行导致DataFrameWriter失败?

时间:2018-01-18 22:44:35

标签: scala apache-spark

我正在加载一个像这样的DataFrame,

df = sparkSession.read.format("jdbc")[...]

然后写入镶木地板文件。

df.write.mode(writeMode).parquet(location)

数据集中的所有数字列都有DecimalType(38, 10)类型,但是当我尝试将一个特定表写入镶木地板文件时,我在堆栈跟踪中得到以下内容:

java.lang.IllegalArgumentException: requirement failed: Decimal precision 69 exceeds max precision 38

我在调试此问题时遇到问题,如何找到导致此异常的行?

0 个答案:

没有答案