我只是使用selenium-python。
当我使用webdriver.Firefox()
时,我可以得到结果。
当我使用webdriver.PhantomJS()
时,无法返回结果(脚本挂起)。
任何人都可以帮助我吗?
browser = webdriver.PhantomJS(executable_path='./lib/phantomjs/phantomjs')
url = "http://aminer.org/search/jie%20tang"
browser.get(url)
答案 0 :(得分:1)
我已经复制了这个问题并且看到了悬挂PhantomJS。我尝试了多种解决方法(包括加载带有禁用Web安全性的“https”URL;尽量不加载图像,增加脚本和页面加载超时,更新幻像等),但直到现在还没有使用。 / p>
此处有一种替代方法,不涉及硒 - 使用AMiner API 。
以下是使用requests
获取相同搜索结果的方法:
import requests
url = 'http://storeland.ru/user/login'
api_url = 'https://api.aminer.org/api/search/people'
with requests.Session() as session:
session.get(url)
params = {
'query': 'jie+tang',
'size': '20',
'sort': 'relevance',
# 'offset': 20 # set offset for pagination
}
response = session.get(api_url, params=params)
for item in response.json()['result']:
print item['name']
打印(搜索结果的第一页):
Zhu Jie-Tang
Jie-Tang Zhao
...
Jie-Tang Wu
Tian Jietang