由于在其中有一个家庭作业,我正在回到python,我正在寻找有关加速我的代码部分的帮助。由于没有提供我的想法,我的上一篇文章被低估了,所以这次我会做得更好。
我有一个购买交易的文本文件,如下所示:
A B C D E F
A E F G H I J K
A B D E F G H
B C D F G H
G H I K J
G H I J
B C D H J K
B C D H K
A C E G I K
A B D F G H I
A B C D E F G H I J K
A B C D E
C D F G
C E F G H I
C D E J K
J K
G H I J K
A B D
A C D K
A B D I J K
A B C E F G
F G I J K
A F G K
B C E F G H
A D E
A B
C D E F
C E F G H I J
I J K
E F H I J K
其中每个字母对应于特定产品的购买,并且每行是交易(对于第一行,有人购买了产品A B C D E和F)。我需要对每件产品的购买次数进行初步计算,然后创建至少购买S次的商品清单。这就是我的代码:
import itertools
import operator
item_data_lol = []
with open("test_file.txt") as inputfile:
for line in inputfile:
item_data_lol.append(line.strip().split(','))
# this is what item_data_lol loads in as
# [['A B C D E F'], ['A E F G H I J K'], ['A B D E F G H'], ['B C D F G H'], ['G H I K J'], ['G H I J'], ['B C D H J K'], ['B C D H K'], ['A C E G I K'], ['A B D F G H I'], ['A B C D E F G H I J K'], ['A B C D E'], ['C D F G'], ['C E F G H I'], ['C D E J K'], ['J K'], ['G H I J K'], ['A B D'], ['A C D K'], ['A B D I J K'], ['A B C E F G'], ['F G I J K'], ['A F G K'], ['B C E F G H'], ['A D E'], ['A B'], ['C D E F'], ['C E F G H I J'], ['I J K'], ['E F H I J K']]
S = 14
# initialize dictionary to count frequency of individual items
first_lookup = {}
# loop over each row, then each element, obtaining a total element count for each element
for line in item_data_lol:
line = line[0]
for item in line.split():
if item in first_lookup.keys():
first_lookup[item] += 1
else:
first_lookup[item] = 1
# Get list of frequent items
frequent_items = []
for this_key, this_value in first_lookup.iteritems():
if this_value > support_threshold:
frequent_items.append(this_key)
print(first_lookup)
print(frequent_items)
这个代码结构对我的小数据集很有用,但是当我在提供的完整txt文件上运行我的程序时,这需要很长时间。这段代码只是我必须编写的一个较大算法的一小部分(apriori算法用于查找频繁项集),因此它的第一部分就像它一样长。如果我可以使用不同的python函数加速这部分代码(我主要用于循环,如果因为我生锈了python并且不记得很多函数),那么我可能会加速程序的后续部分同样。
欣赏有关如何提高速度的任何想法
答案 0 :(得分:4)
你在字典键上遇到了可悲的经典测试,而不是字典本身。
if item in first_lookup.keys():
应该是
if item in first_lookup:
从字典查找中受益。对first_lookup.keys()
的显式调用会在Python 2中生成list
,因此in
适用于列表而非字典。
在您的情况下,替换该循环:
for line in item_data_lol:
line = line[0]
for item in line.split():
if item in first_lookup.keys():
first_lookup[item] += 1
else:
first_lookup[item] = 1
通过这种方式可以加快速度(使用由生成器理解初始化的collections.Counter
):
import collections
first_lookup = collections.Counter(item for line in item_data_lol for item in line[0].split())