通过python刮取Vine数据

时间:2015-03-23 15:18:08

标签: javascript python selenium web-scraping vine

我希望通过python在Vine上获得不同品牌(公共帐号)的帖子数据(例如标题,共享,内容)。 现在我有一些想法:

  1. 有一个名为Vinepy的Vine api来自github(https://github.com/davoclavo/vinepy),但它需要您创建帐户并使用您自己的登录信息,而且您似乎只能抓取自己帐户中的数据,那么我也可以使用Vinepy来抓取其他帐户的数据吗?因为关于Vinepy的例子较少,我也没想出怎么做。

  2. 我提出的另一种选择是使用beautifulsoup + selenium来做到这一点。因为有了#34;加载更多"藤页中的按钮,您需要使用selenium与它进行交互。但我的问题是可以beautifulsoup + selenium处理Javascript?因为所有的帖子都是由javascript框架写的,名为ember.js

  3. 或者有人对如何做到这一点有更好的想法?

    非常感谢!

1 个答案:

答案 0 :(得分:0)

Vine API不需要登录公共数据:

https://github.com/starlock/vino/wiki/API-Reference

它不是专门以Python为中心的,但它只是一个HTTP GET来检索一些JSON。