如何使用PHP从我的网站提取/获取和显示数据（从其他电子商务网站）

Question

我见过许多电子商务门户网站，这些门户网站展示了来自世界各地的其他更大型电子商务网站的产品列表。

我认为通过在php中使用file_get_contents或CURL来获取不是一个大问题，但问题是，

他们是否提供了一些api以允许其他人获取他们的数据/产品信息？

我们是否需要获得从其网站获取数据的权限。

是否有一些优雅且具体的方法/方法来获取要在我们网站上显示的数据（而不是CURL＆amp; file_get_contents）？

Answer 1

有些网站提供API来访问数据。有些花钱，有些可能是免费的。无论如何，是的，你需要得到许可。

但是你总是可以在未经许可的情况下刮取他们的网站。

Answer 2

以下是有关该主题的一般指导原则。

• 你应该检查他们是否有一个robot.txt文件，拒绝授权网站的某些区域。
• 虽然复制内容存在版权问题，但搜索引擎始终会发布网站内容的摘录。因此，在某种程度上，复制内容为legally permissible。
• API有时是可用的，但搜索引擎一直在没有任何权限的情况下抓取网站（可能是robot.text文件除外）。
• 尊重网站所有者对其带宽的意愿。编写得不好的机器人代码可能浪费地占用服务器资源。
• 如果你能获得许可，那就更好了。

我使用cURL和DomDocument class。我不知道你在优雅方面还想要什么。

Answer 3

1. 编写一个抓取工具，以便从这些网站获取所需的所有数据。
2. 如果提供的话，请使用API​​。但通常费用很高。
3. 使用第三方软件创建自己的API。