python webcrawler的一个很好的用户代理

时间:2012-04-18 07:48:42

标签: python web-crawler user-agent

我正在制作一个python爬虫,我正在考虑一个用户代理。

任何人都可以想到用户代理。

或/并且有没有人有计划

我喜欢“urllib(兼容; owi bot; + owi.tk / bot)”(这是googlebot重写)。

所以可以帮助我

1 个答案:

答案 0 :(得分:3)

只需一个人。如果您的机器人做错了/坏/愚蠢/伟大,可以与您联系的奖励积分。规格为RFC2616秒。 14.43(HTTP / 1.1)。

请不要复制一些东西!

同时,some practical stuff learned在抓取Stackoverflow&朋友的坏链接:

  

从第0天开始,使用适当的用户代理字符串设置自己。