Question

假设我有一个数据集，比如

iris = pd.DataFrame(sns.load_dataset('iris'))

我可以使用Spacy和.apply将字符串列解析为标记（我的真实数据集当然每个条目包含1个字/标记）

import spacy # (I have version 1.8.2)
nlp = spacy.load('en')
iris['species_parsed'] = iris['species'].apply(nlp)

结果：

   sepal_length   ... species    species_parsed
0           1.4   ... setosa          (setosa)
1           1.4   ... setosa          (setosa)
2           1.3   ... setosa          (setosa)

我也可以使用这个方便的多处理函数（thanks to this blogpost）来并行处理数据帧上的大多数任意应用函数：

from multiprocessing import Pool, cpu_count
def parallelize_dataframe(df, func, num_partitions):

    df_split = np.array_split(df, num_partitions)
    pool = Pool(num_partitions)
    df = pd.concat(pool.map(func, df_split))

    pool.close()
    pool.join()
    return df

例如：

def my_func(df):
    df['length_of_word'] = df['species'].apply(lambda x: len(x))
    return df

num_cores = cpu_count()
iris = parallelize_dataframe(iris, my_func, num_cores)

结果：

   sepal_length species  length_of_word
0           5.1  setosa               6
1           4.9  setosa               6
2           4.7  setosa               6

...但由于某种原因，我无法通过这种方式使用多处理将Spacy解析器应用于数据帧。

def add_parsed(df):
    df['species_parsed'] = df['species'].apply(nlp)
    return df

iris = parallelize_dataframe(iris, add_parsed, num_cores)

结果：

   sepal_length species  length_of_word species_parsed
0           5.1  setosa               6             ()
1           4.9  setosa               6             ()
2           4.7  setosa               6             ()

还有其他方法吗？我很喜欢Spacy的NLP，但是我有很多文本数据，所以我想并行处理一些处理函数，但遇到了这个问题。

Answer 1

Spacy经过高度优化，可为您进行多处理。因此，我认为您最好的选择是将数据从Dataframe中取出，并将其作为列表传递给Spacy管道，而不是直接尝试使用.apply。

然后，您需要整理解析的结果，并将其放回到Dataframe中。

因此，在您的示例中，您可以使用以下内容：

tokens = []
lemma = []
pos = []

for doc in nlp.pipe(df['species'].astype('unicode').values, batch_size=50,
                        n_threads=3):
    if doc.is_parsed:
        tokens.append([n.text for n in doc])
        lemma.append([n.lemma_ for n in doc])
        pos.append([n.pos_ for n in doc])
    else:
        # We want to make sure that the lists of parsed results have the
        # same number of entries of the original Dataframe, so add some blanks in case the parse fails
        tokens.append(None)
        lemma.append(None)
        pos.append(None)

df['species_tokens'] = tokens
df['species_lemma'] = lemma
df['species_pos'] = pos

这种方法可以很好地处理小数据集，但它会占用你的记忆，所以如果你想处理大量的文本，那就太好了。

将Spacy Parser应用于具有多处理功能的Pandas DataFrame

1 个答案: