YQL可以解析需要基于cookie的身份验证的网站吗?

时间:2010-01-13 03:43:40

标签: http xpath yql

首先,我的用例:

我正在尝试使用YQL内置的XPATH功能从Yahoo!中抓取内容幻想体育。它使用某种基于cookie的身份验证方案。基本上,顺序是:

1)在Yahoo!上进行HTTP GET登录页面 2)从响应中解析隐藏的输入,并与Yahoo!进行HTTP PUT。登录表单URL 3)使用从步骤2返回的cookie来获取任何Fantasy Sports!您有权访问的网站

我的问题是,YQL是否支持这样做以刮取数据?我见过的唯一基于身份验证的示例使用OAuth,但我没有看到使用YQL解析基于cookie的身份验证方案的网站的任何示例

1 个答案:

答案 0 :(得分:3)

您必须使用带有execute block的打开表格。

你基本上写了一些将在YQL服务器上运行的JavaScript来完成你需要的所有逻辑。