用于数据砖笔记本的Devops方法

Question

我一直在寻找为数据砖建立CICD管道[Azure Devops]的最佳方法。 所以我现在遵循的步骤。

1. 我有2个笔记本： 一种。开发笔记本：与spark数据框一起使用 b。单元测试笔记本：包含使用unittest2模块编写的测试用例
2. 我可以使用％run命令将Dev类导入到Unittest Notebook中，然后运行测试笔记本。
3. 我将Dev和Unittest Notebook都导出为py文件，并将其上传到我的Azure Repos中以在Azure CICD Pipeline中使用。
4. 我有设置管道来运行测试py文件。

但是我需要做的是

1. 如果py类位于同一位置，如何动态将py类导入到我的unittest文件中
2. 如何动态创建spark实例，以便我可以成功运行我的unittest文件。

到目前为止，我正在手动添加spark实例代码片段并运行文件，但是在数据砖上运行时，我们无需创建spark实例。

考虑上述情况，请让我知道解决此问题的最佳方法。

如有任何疑问，请随时发表评论。

谢谢。