从论坛中提取数据

时间:2013-02-26 08:34:45

标签: php forum vbulletin

我想根据我输入的关键字从php论坛中提取数据。 有什么准备好可以做到这一点? 举个例子 Kadinlarkulubu.com/forum.php 关键词ios,android

感谢这些信息,我希望获得日期,时间,消息,消息的URL,消息中的关键字,撰写此消息的成员的昵称。

我需要在不同的论坛工作,所以我需要一个或多个可以在vBulletin等关键大平台上运行的工具。

2 个答案:

答案 0 :(得分:1)

您需要创建自己的web crawler。如果您希望它在各种不同的平台上运行,则必须在该爬虫上创建变体。

首先,选择您最喜欢的论坛,然后给它一个种子页面(开始抓取的页面)。请仔细阅读,因为您可能需要登录才能看到帖子,如果是这样的话,可能不容易做到(制作一个让您登录的抓取工具,并打破验证码,例)。您还可以使用搜索功能(因为许多论坛都有类似?q=your_tag&p=1的搜索网址,这可以让事情变得更容易。

只是检查您是否在同一个域中,并且您没有进入无限循环,除此之外,您应该没问题。

预计这是一个长期项目:)

替代方案是使用API​​,如果论坛提供了一个,但我怀疑你会如此幸运。

答案 1 :(得分:0)

2种方式 只有论坛的所有者允许您访问论坛API(如果有论坛API)或数据库

,才能实现简单方法。

极端困难的方法是让抓取工具逐页阅读论坛,并将您喜欢的信息解析为可以使用的信息。