刮一个phpbb论坛

时间:2010-02-21 21:17:56

标签: database screen-scraping phpbb forums

我想知道是否可以将所有公开发布的帖子和数据从一个phpbb3论坛复制到没有数据库密码等的远程版本,如果是这样,最简单的方法就可以了。

情况详情:我们需要将论坛转移到一个新的更好的地方,但拥有和操作我们当前所在服务器的人是邪恶的,似乎不愿意给我们一个数据库转储或任何支持。

提前致谢!

3 个答案:

答案 0 :(得分:0)

由于类似的原因,我过去曾为客户搜过几个网络论坛,所以是的,这是可能的。 你需要的不仅仅是卷曲。你可以自己学习编写脚本,希望这很有趣,但聘请有经验的程序员为你做这件事会更快。

答案 1 :(得分:0)

我认为我们需要论坛模板结构,你可以使用python的scrapy轻松编码它,你知道结构吗?

答案 2 :(得分:0)

请参阅以下内容:

https://github.com/Dascienz/phpBB-forum-scraper

用于phpBB论坛的基于Python的Web抓取工具。项目可以用作 用于构建自己的自定义Scrapy蜘蛛或一次性模板 爬到指定的论坛上。请记住,进取 爬网会对Web服务器产生很大的压力,所以请 限制您的请求率。

phpBB.py蜘蛛从论坛上抓取以下信息 帖子:用户名用户帖子计数帖子日期和时间帖子文本引用文本 如果您需要抓取其他数据,则必须创建 其他蜘蛛或编辑现有蜘蛛。

编辑phpBB.py并指定:allowed_domains start_urls用户名& 密码forum_login = False或forum_login = True