Question

我想在特定区域刮取Craigslist公寓，将租金，位置等关键数据存储在数据库中（可能是sqlite-我还没有决定）。我是Python的新手，但发现使用requests和BeautifulSoup进行抓取非常容易，例如

#!/usr/bin/python

from bs4 import BeautifulSoup
import requests

r = requests.get("http://sandiego.craigslist.org/apa/")
data = r.text

soup = BeautifulSoup(data)

for link in soup.find_all('a'):
    print(link.get('href'))

输出

https://post.craigslist.org/c/sdo?lang=en
https://accounts.craigslist.org
#
//www.craigslist.org/about/sites
/
/hhh/
/apa/
/csd/apa/
/nsd/apa/
/esd/apa/
/ssd/apa/
#list
#pic
#grid
#map
/apa/index100.html
/search/apa/?sort=priceasc
/search/apa/?sort=pricedsc
/csd/apa/4481946343.html
/csd/apa/4481946343.html
/csd/apa/4481860479.html
/csd/apa/4481860479.html
/ssd/apa/4481935551.html
/ssd/apa/4481935551.html
/csd/apa/4437743340.html
/csd/apa/4437743340.html
...

通常情况下，海报会重新发布广告，通常是“合法地”（例如。至少已过去一周），但有时会对广告进行细微修改。我希望能够利用我的刮刀所看到的某种广告缓存来标记此类广告。 为了检测类似帖子，我应该缓存哪些内容？

我意识到有多种方法可以做到这一点，但我想知道Python社区是否有自己的“Python方式”来解决问题。例如，也许已经存在用于执行此类操作的模块（尽管使用HTML页面）。

如果没有回复，我的计划是拿每个广告并存储（1）全文和（2）每个图像的MD5哈希，将每个数据与帖子ID相关联（例如 4481946343）广告，然后设计一些启发式来判断相似性，例如“至少有一个图像哈希匹配，或者，在5个或更多字母的单词之间有95％的匹配。”但这尤其是我在创建自己的解决方案时感到不舒服的地方;我认为必须有更好的，甚至是规范的方式。

^{顺便说一句，我已经阅读过像3TAPS这样的第三方API，但我也读到CL已经针对此类服务提起诉讼（并获胜）;此外，我的项目很简单，我更喜欢没有这种依赖性的透明度和编码。}

Answer 1

我认为使用哈希值不是一个好主意，因为像MD5这样的哈希函数被设计为尽可能均匀地覆盖密码域，因此哈希值之间不存在相似性的概念，即使它只是一个点就可以产生差异。但是有exceptions。

您可能希望查看一些简单的文本分类方法。最简单的做法是建立一个bag-of-words而不是每个广告文字的数字向量代表。然后，您可以使用k-nearest neighbors，cosine similarity或机器学习文献为您提供的任何内容来计算相似度。

检测Craigslist上的类似帖子或广告

1 个答案: