使用Scrapy / Selenium填充字段并在LinkedIn高级搜索页面上搜索

时间:2015-07-08 03:45:13

标签: javascript python selenium scrapy linkedin

url for LinkedIn高级搜索:https://www.linkedin.com/vsearch/p?adv=true&trk=advsrch

我正在尝试使用Selenium(Python)填充字段并点击LinkedIn高级搜索页面上的提交按钮。

但是,当我尝试将密钥发送到我要填写的字段(例如名字)时,我收到此错误:ElementNotVisibleException:消息:元素当前不可见,因此可能无法与之交互。我猜这与高级搜索框的切换显示/隐藏有关。我原以为高级搜索框架默认是可见的,但似乎Selenium Driver无法识别它。

我如何制作这些“invisble”字段并提交按钮元素?

我试过了:

  • 使用Wait函数在页面上放置延迟。

  • 运行脚本以使div元素保持高级搜索页

    self.driver.execute_script( “的document.getElementById( 'ADVS'​​)。的style.display = '块'”)

  • “点击”切换显示/隐藏按钮进行高级搜索,虽然我不确定我是否正确使用

    self.driver.find_element_by_id( “ADVS链接”)。单击()

1 个答案:

答案 0 :(得分:0)

如果您查看提交按钮,则可以看到它是[akshay@localhost tmp]$ php test.php Array ( [0] => Array ( [1] => 5 ) [1] => Array ( [2] => 1 ) [2] => Array ( [0] => 3 ) ) Array ( [0] => Array ( [1] => 5 ) [1] => Array ( [0] => 3 ) [2] => Array ( [2] => 1 ) ) 请求。因此,您可以从输入字段和值中组装,以使用参数填充URL。唯一棘手的价值是GET,但可以在网站中找到rsid

然后,当"searchId"请求的网址出现时,您可以使用Scrapy将该网址称为GET并抓取内容。