vowpal wabbit可以使用我所有的CPU内核吗？

Question

我试图在10M +火车数据上训练--aa vowpal wabbit分类器，发现它只使用一个核心。有没有办法让它使用所有12个内核？

Answer 1

VW使用两个线程：一个用于加载和解析输入数据，一个用于机器学习。 大众带有一个spanning_tree工具，用于集群（例如Hadoop）或单个机器（--span server localhost）上的几个VW实例的并行执行（AllReduce）。

那就是说，我认为12个核心不足以让AllReduce获得回报。为了获得最佳结果，您还需要进行超参数搜索，这样您就可以使用12个内核并行执行。