scikit-learn FeatureUnion和多线程

时间:2015-09-15 16:30:19

标签: multithreading machine-learning scikit-learn feature-extraction

我有以下变压器:

union = FeatureUnion(
    transformer_list = [
     ('tfidf', TfidfVectorizer()),
     ('featureEx', FeatureExtractor()),
     ('spell_chker', Spellingchecker()),
     ], n_jobs = -1)

这里的目标是在多核机器上并行运行这些变压器。为此目的,我将n_jobs选项设置为-1。当我运行代码时,有多个线程,但只有一个线程处于运行模式。其他人处于睡眠模式。我想知道为什么只有一个线程处于运行模式。是因为子任务等到一个完成了吗?我该怎么做才能并行运行所有线程。变压器彼此独立,不应相互等待。

0 个答案:

没有答案