我目前正在编写一个Python文件,当nodejs服务器请求时,可以使用chrome网络驱动程序对其进行爬网。
我已经在Chrome网络驱动程序中使用了绝对路由。
我已经尝试过模块'webdriver-manager'
,但是它说'No module named 'webdriver_manager''
文件目录结构
project
L module
L crawling
L chromedriver.exe
L crawling.py
L router
L controller
L api
L index.js
node.js服务器:index.js
router.get('/', async(req, res) => {
const filePath = path.join(__dirname, '..', '..', '..', 'module', 'crawling') + '/crawling.py';
pythonShell.PythonShell.run(filePath, null, (err, result) => {
console.log(result)
if (err) {
console.log(err.message)
} else {
console.log('finished');
}
})
Python代码:crawling.py
...
driver = webdriver.Chrome()
driver.implicitly_wait(30)
...
我希望在对服务器发出请求时使用Web驱动程序进行爬网。