如何抓取公开共享的Secret(secret.ly)帖子

时间:2014-07-17 22:51:18

标签: web-scraping web-crawler

秘密(secret.ly)是一个匿名的社交网络,人们以短信的形式分享他们的想法。人们不时在社交媒体上分享他们的“秘密”,例如thisthisthis 我正在尝试创建一个公开可用的秘密流,我想知道是否有一种方法来抓取secret.ly域以提取所有这些公共机密,尽管url是随机字符串。我可以在Twitter上搜索,但我想知道是否有办法直接在secret.ly

上进行搜索

1 个答案:

答案 0 :(得分:2)

这是使用perl的开始。它们似乎也与社交媒体有关。此脚本仅获取站点并转储链接。如果不了解你想要什么,我就做不了多少。

use strict;
use warnings;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new();

$mech->get('http://www.secret.ly');
print $mech->dump_links;

更新: WWW :: Mechanize还有一个find_all_links方法,您也可以找到它。