分馏组合发生器,用芹菜分配

时间:2016-05-24 12:09:32

标签: python distributed distributed-computing

这是我的专栏:

generator = chain((product('ABCDE', repeat=k) for k in range(1,10)))

我希望将它分发到几台电脑上。

我将使用芹菜(但我会对其他东西开放)。

但目前我还不知道如何分配这一行来分配这一代。

如果有人有任何线索

感谢

1 个答案:

答案 0 :(得分:1)

这是生产5种不同发电机的简单方法:

from itertools import product, islice

letters = 'ABCDE'

def make_generator(first_letter):
    return ((first_letter,) + rest
            for k in range(9)
            for rest in product(letters, repeat=k))

for letter in letters:
    print map(''.join, islice(make_generator(letter), 20)), '...'

输出:

['A', 'AA', 'AB', 'AC', 'AD', 'AE', 'AAA', 'AAB', 'AAC', 'AAD', 'AAE', 'ABA', 'ABB', 'ABC', 'ABD', 'ABE', 'ACA', 'ACB', 'ACC', 'ACD'] ...
['B', 'BA', 'BB', 'BC', 'BD', 'BE', 'BAA', 'BAB', 'BAC', 'BAD', 'BAE', 'BBA', 'BBB', 'BBC', 'BBD', 'BBE', 'BCA', 'BCB', 'BCC', 'BCD'] ...
['C', 'CA', 'CB', 'CC', 'CD', 'CE', 'CAA', 'CAB', 'CAC', 'CAD', 'CAE', 'CBA', 'CBB', 'CBC', 'CBD', 'CBE', 'CCA', 'CCB', 'CCC', 'CCD'] ...
['D', 'DA', 'DB', 'DC', 'DD', 'DE', 'DAA', 'DAB', 'DAC', 'DAD', 'DAE', 'DBA', 'DBB', 'DBC', 'DBD', 'DBE', 'DCA', 'DCB', 'DCC', 'DCD'] ...
['E', 'EA', 'EB', 'EC', 'ED', 'EE', 'EAA', 'EAB', 'EAC', 'EAD', 'EAE', 'EBA', 'EBB', 'EBC', 'EBD', 'EBE', 'ECA', 'ECB', 'ECC', 'ECD'] ...

同样,你可以通过固定前两个字母等来产生25。

请注意,我不使用chain,因为它在传递单个iterable时不会执行任何操作。您可能需要chain.from_iterable,但我对此表示怀疑,因为这会产生单个字母。

也可以写下

make_generator

for k in range(9):
    for rest in product(letters, repeat=k):
        yield (first_letter,) + rest