facebook数据到电子表格

时间:2012-11-01 03:15:35

标签: ruby facebook google-app-engine web-scraping watir

我读过的一些问题 http://facebook.stackoverflow.com/questions/1927676/scraping-a-facebook-app-for-data

http://facebook.stackoverflow.com/questions/2028940/access-to-facebook-data

我想创建一个电子表格,其中包含我在Facebook游戏中拥有的所有差异项目,即武器装甲。我觉得这很容易。我已经用c ++,javascript,php和python创建了一些经验。我已经能够将项目导入excel电子表格。但它会导入网页上的所有内容。我希望能够为每种类型的项目提供单独的sprreadsheets,并自动更新电子表格。所以我去了谷歌数据API。一个问题是facebook不会让我的谷歌电子表格脚本访问任何它重定向我到登录页面(或至少这是我怀疑,因为当我运行调试它显示重定向的URL)。然后我读到了javascript如何工作coss domain。cross domain javascript。和sience谷歌spript是基于java我认为这可能是问题。所以我去了scraperwiki https://scraperwiki.com/并在php中创建了一个可以解决问题的spript。现在我应该提一下,我已经测试过我是否可以访问这个页面而不会被搞砸到Facebook(这意味着我退出了facebook并调用了网站,我能够在浏览器中提取网站并使用java shell来获取我想要的数据。然后当我点击另一个链接,请求我进入facebook时,登录屏幕会显示我会点击书签到我希望从中获取数据的页面,我可以看到它并从javashell获取数据。 )

所以在那个漫长的故事之后我的问题是 1. oauth会解决这个障碍吗?

  1. 如果我创建了一个FB应用程序,我能够获得我想要的数据,然后能够将其发送到谷歌电子表格吗?

  2. 像Watin https://stackoverflow.com/questions/tagged/watin这样的东西会更好吗? (我不知道它有什么能力)

1 个答案:

答案 0 :(得分:0)

使用工作解决方案更新!!

对所有像我这样的菜鸟程序员。停下来休息一下!我一直在努力解决这个问题。我已经阅读了无数的博客,帖子,教程,我已经学会了3种新语言(足以让我头痛)。学习我不知道有多少网络工具,刮刀网站,应用程序引擎,浏览器扩展,以及我甚至还记得的一堆其他垃圾。一些女巫可能工作得更快。但经过几天的挫折和头疼之后。看起来老派是要走的路。当我第一次开始研究I need to scrape data from a Facebook game - using ruby时,我看到了这篇文章,但我传递了红宝石的想法,因为现在所有的东西都是一天。似乎喜欢java,php,python或Jquery。最后,红宝石使我免于头痛。你仍然需要为自己找出一些东西,但如果你使用这些技巧,希望它会比你对我更容易!

我使用Windows安装程序下载了。 download ruby

我使用谷歌浏览器来检查元素,因为它突出显示了您正在悬停的元素在屏幕上的位置。

这里有一些入门代码

require 'rubygems'
require 'watir-webdriver' # or whichever gem you choose
require 'google_drive'
b = Watir::Browser.new
b.goto 'facebookgame url'
b.text_field(:id => 'email').set 'your email'
b.text_field(:id => 'pass').set 'your passwork'
b.button(:name => 'login').click
b.goto 'next url' # or find/get element value