Mozmill:关键字列表 - > Google中的第一个结果网址

时间:2012-02-25 17:22:05

标签: web-crawler ui-automation mozmill

我有一个关键字列表。使用Mozmill,我想在Google上进行搜索时获取每个关键字的第一个结果网址

1 个答案:

答案 0 :(得分:1)

您必须向MozMill提供应该抓取的网址列表,因此您必须生成您要抓取的网页的网址。 Google支持各种查询,以下是网址格式:http://www.google.com/search?q=keyword

您必须将“关键字”替换为您的实际关键字,因此,假设您的关键字包含dentistiphoneeye drops,您将生成以下3个网址:< / p>

http://www.google.com/search?q=dentist http://www.google.com/search?q=iphone http://www.google.com/search?q=eye%20drops(注意:空间是URL编码的)

以下是您在Google网址中可以拥有的所有参数的更详细说明:

从那时起,您将不得不做一些工作才能正确选择结果URL(即您必须编写一些代码)。我不认为MozMill提供开箱即用的功能,我认为没有任何其他爬虫可以做到。