我正在加载一个像这样的DataFrame,
df = sparkSession.read.format("jdbc")[...]
然后写入镶木地板文件。
df.write.mode(writeMode).parquet(location)
数据集中的所有数字列都有DecimalType(38, 10)
类型,但是当我尝试将一个特定表写入镶木地板文件时,我在堆栈跟踪中得到以下内容:
java.lang.IllegalArgumentException: requirement failed: Decimal precision 69 exceeds max precision 38
我在调试此问题时遇到问题,如何找到导致此异常的行?