标签: unit-testing apache-spark
我想测试可直接读取特定配置单元表的orc文件的代码。因此,在单元测试中,我在本地模式下启动了spark,并为spark设置了spark.sql.warehouse.dir,然后创建了一个表并在其中存储了一些数据。最后,我调用了从传递的路径读取orc文件数据的方法。单元测试在intellij中正常运行,并通过maven进行单个测试,但是在集群中测试所有单元测试时,它将无法在磁盘上找到orc文件。我检查过,运行单元测试时磁盘上没有数据。有什么方法可以让spark立即将数据保存到配置单元中?
spark.sql.warehouse.dir