标签: web-crawler user-agent
我目前经营一个目录网站,并为其撰写博客并进行营销,但是我付了自由职业者对该网站进行编码。
我现在还有其他网站要求我的网站的爬虫程序/机器人程序的“用户代理字符串”(类似于此处显示的信息:https://airtable.com/shrh79V7TGie48DAm/tblJSPI6CzPrLXrS3),以便它们可以链接到我的网站,并且需要知道如何找到这个或我需要做的。
非常感谢您的帮助,谢谢! 梅根