需要使用重复过滤器python的Consumer和Producer

时间:2016-08-30 09:37:53

标签: python

我有一个脚本,通过执行以下操作向社交媒体网站发送请求:

首先刮掉插入帐户的朋友。 然后它继续刮掉所有永久发现的帐户的朋友(类似于搜索引擎抓取工作的方式)。 将它们添加到使用者队列,然后将其添加为朋友或向他们发送消息。 这一切都在10-30个线程中。 我目前正在使用Queue,它不会检查它找到的帐户是否与以前找到的帐户重复。那是我的问题。在更改Queue模块的源代码之前。是否有任何内置重复过滤的类似模块。

1 个答案:

答案 0 :(得分:0)

Python还包括集合的数据类型。集合是无序集合,没有重复元素。 注意:要创建一个空集,您必须使用

set()

有一个有序的集合配方,可以从Python 2文档http://code.activestate.com/recipes/576694/

中找到

这在Py2.6或更高版本以及3.0或更高版本上运行而不做任何修改。该接口几乎与普通集完全相同,只是初始化应该用列表完成。

OrderedSet([1, 2, 3])