在外部硬盘上运行python脚本（训练神经网络）

Question

我的数据集太大而无法在本地存储，我想训练一个神经网络。

哪个会更快？还是一样？

1）所有文件都存储在外部硬盘驱动器上。 python文件在加载数据并训练网络的硬盘驱动器目录中运行

2）Python文件保存在本地，并且在训练期间通过将数据集指向外部硬盘驱动器上的数据集来加载数据集

我认为在这两种情况下，数据集的执行速度和加载都相同，但是我不确定

Answer 1

这取决于您的硬盘驱动器和外部硬盘驱动器的读取速度。

您的硬盘是否有SSD？如果是这样，那么它肯定会比您的外部硬盘驱动器快得多。

如果硬盘驱动器和外部驱动器的读取速度相同或相似，则存储数据集的位置无关紧要。

1）您的python文件将被“加载”到RAM中并执行。因此，您的内置硬盘没有主要作用。

2）同样，如果您的外部HDD和内部HDD具有相似的读取速度，则没关系。