TPOT 训练时间太长

时间:2021-06-04 17:32:27

标签: python tpot

我第一次尝试在大约 7000 行的数据集上使用 tpot,当尝试在占整个数据集 25% 的训练数据集上训练 tpot 时,tpot 花费的时间太长。我在 google colab 上运行代码大约 45 分钟,优化进度仍为 4%。我一直在尝试使用 :http://epistasislab.github.io/tpot/examples/ 上的示例。 tpot需要这么长时间是不是很典型,因为到目前为止我认为即使尝试使用它也不值得

1 个答案:

答案 0 :(得分:1)

TPOT 可能需要很长时间,具体取决于您拥有的数据集。您必须考虑 TPOT 正在做什么:TPOT 正在评估数以千计的分析管道并在后台在您的数据集上拟合数千个 ML 模型,如果您有一个大型数据集,那么所有拟合可能需要很长时间——尤其是如果您正在一台功能较弱的计算机上运行它。

如果您想要更快的结果,您有几个选择:

  1. 使用 "TPOT light" configuration,它使用更简单的模型并且运行速度更快。

  2. n_jobs 参数设置为 -1 或大于 1 的数字,这将允许 TPOT 并行评估管道。如果您拥有多核机器,-1 将使用所有可用内核并显着加快运行速度。

  3. 使用 subsample 参数对数据进行子采样。默认值为 1.0,对应于使用 100% 的训练数据。您可以对较低百分比的数据进行二次采样,这样 TPOT 会运行得更快。