我正在制作一个python爬虫,我正在考虑一个用户代理。
任何人都可以想到用户代理。
或/并且有没有人有计划
我喜欢“urllib(兼容; owi bot; + owi.tk / bot)”(这是googlebot重写)。
所以可以帮助我
答案 0 :(得分:3)
只需一个人。如果您的机器人做错了/坏/愚蠢/伟大,可以与您联系的奖励积分。规格为RFC2616秒。 14.43(HTTP / 1.1)。
请不要复制一些东西!
同时,some practical stuff learned在抓取Stackoverflow&朋友的坏链接:
从第0天开始,使用适当的用户代理字符串设置自己。