Jenkins Pipeline用于大型数据集的测试

Question

我们正在为计算机视觉应用程序（Dockerized）构建Jenkins构建和测试管道。自然，我们有一个庞大的数据集来执行测试（〜32 GB）。关于如何建立这样的管道有什么想法？

我正在探索的一些选择是

• 使用数据在BitBucket上建立存储库，将其包含在Jenkins管道中，将其安装到Docker中并运行测试。
• 在S3实例上上传数据，从Jenkins提取并执行测试？？？ （不知道它是如何工作的）

如果对此有一个标准的实践，我找不到它。任何想法都会有所帮助。谢谢！