从论坛中提取数据

Question

我想根据我输入的关键字从php论坛中提取数据。 有什么准备好可以做到这一点？ 举个例子 Kadinlarkulubu.com/forum.php 关键词ios，android

感谢这些信息，我希望获得日期，时间，消息，消息的URL，消息中的关键字，撰写此消息的成员的昵称。

我需要在不同的论坛工作，所以我需要一个或多个可以在vBulletin等关键大平台上运行的工具。

Answer 1

您需要创建自己的web crawler。如果您希望它在各种不同的平台上运行，则必须在该爬虫上创建变体。

首先，选择您最喜欢的论坛，然后给它一个种子页面（开始抓取的页面）。请仔细阅读，因为您可能需要登录才能看到帖子，如果是这样的话，可能不容易做到（制作一个让您登录的抓取工具，并打破验证码，例）。您还可以使用搜索功能（因为许多论坛都有类似?q=your_tag&p=1的搜索网址，这可以让事情变得更容易。

只是检查您是否在同一个域中，并且您没有进入无限循环，除此之外，您应该没问题。

预计这是一个长期项目：）

替代方案是使用API​​，如果论坛提供了一个，但我怀疑你会如此幸运。

Answer 2

2种方式 只有论坛的所有者允许您访问论坛API（如果有论坛API）或数据库

，才能实现简单方法。

极端困难的方法是让抓取工具逐页阅读论坛，并将您喜欢的信息解析为可以使用的信息。