我正在寻找一种测试正在开发的工具的好方法。
该工具是用Scala编写的Spark库,它具有完善的单元测试套件,可测试软件的所有逻辑。我们还使用py4j构建了一个python API,以便在Python中使用此库(类似于pySpark用于spark)。
我想开始编写测试管道,但是我不确定采用哪种方法。值得一提的是,到目前为止,我们遇到的主要错误是
测试管道应该使这些错误无效,并希望有更多错误。
我个人在这里看到两种方法
复制Scala测试或生成与它们相似的新测试,其中逻辑在其组件中进行了测试
使用某种反射机制,其中我们在Python中验证是否已实现某些Scala对象的公共方法,并且这些方法实际上(通过设置器/获取器)按预期设置了参数
我找不到用于这种单元测试的任何现有方法,而且我个人更坚信将2投入到工作中会带来更好的结果,因为我们实际上是在测试python软件的功能。
我想知道您的想法,以及是否需要检查某些源或库来设置我的套件