Web开发人员是否允许抓取HTML内容？

Question

我想从几个网站上抓取html内容，并在我的网站上查看一种混搭。我将参考并链接到它们aswelll！

谢谢

Answer 1

它不被认为是“礼貌的”，但它经常被完成。有些网站针对此类活动采取了对策，但总的来说，您可以做到这一点而不会产生任何影响。

如果您想以正确的方式进行，您只需向网站运营商咨询即可。对于所有你知道他们会好的，或者他们甚至可以使用你可以使用的API集。

但如果您未经许可进行刮痧，如果您的网站受欢迎并且原始网站发现您正在做什么，他们可以发送停止和终止信件和/或如果他们感觉有其他法律步骤你侵犯了任何受版权保护的材料。

http://en.wikipedia.org/wiki/Web_scraping

Answer 2

这通常不是完成的事。如果这些网站的作者想要提供他们的数据，他们可能会通过API或某种类型的Feed来完成。

最好的办法是直接问他们。他们甚至可能为你提供比刮擦更好的方法。

Answer 3

继续这样做，但检查他们的robots.txt，并确保他们有办法与他们联系，如果他们有问题。大多数人都乐意从你的混搭中获得流量。无论如何，他们的责任是要求你不要。