如何从社交媒体中提取数据?

时间:2017-09-06 12:48:24

标签: facebook api twitter web-scraping

我正在开展一个项目,我根据特定的位置和/ hashtag从Facebook和Twitter收集帖子,然后在网页上分享这些帖子。例如,我想在Twitter上收集每条推文,标签为###England'并在我的网页上以纯文本形式分享。另一个例子是在Facebook上显示来自城市的所有公开帖子。

我认为我应该首先关注一个社交平台并使用它的API,然后对另一个做同样的事情(或者我可以同时做两种方式吗?) 。

问题是我只有几个月的时间来完成这个项目,而且我对社交媒体的抓取并不了解。关于我应该阅读哪些编程语言,教科书和文档的任何建议?

1 个答案:

答案 0 :(得分:4)

您应该从Twitter / Facebook 官方API文档开始,例如:

https://dev.twitter.com/rest/public/search

有以下信息:如何构建查询,如何查找具有确切字词的推文等。

您可以使用您喜欢的语言(JS, PHP, Perl, Python...)对其进行编程,但您可以利用OSS 并且不要重新发明轮子,快速搜索:

https://github.com/search?utf8=%E2%9C%93&q=twitter+search+api&type=

有很多可行的例子可能对你有用,或者至少有所启发。如果您想了解更多信息,可以阅读本书

  

“挖掘社交网络”

http://shop.oreilly.com/product/0636920030195.do https://github.com/ptwobrussell/Mining-the-Social-Web-2nd-Edition

你应该解决的“问题”是:

  • 您将实时挖掘(新用户将对社交网络API执行查询)或者您将拥有一个将在某处执行挖掘和存储的工作人员/队列?
  • 照顾采矿率

还有其他问题......

也许,你想要的是这样的:

https://github.com/pavelk2/social-feed

在不同的社交网络中“挖掘”关键字,您只需安装和配置它。

希望它有所帮助!