Question

我正在抓取一个网站：https://apps.ktrade.pk/webterminalv3/SignIn 我可以从中获取 HTML，但是我抓取的 html 元素中没有出现具有类 box-user-id 的子元素的 div；在检查元素上，正在显示 box-user-id 的子元素。

我已经尝试过使用 selenium、BeautifulSoup、mechanicalsoup 等多个库。请告诉我该怎么做。提前致谢。

Answer 1

您可以尝试使用该代码登录

import requests
from bs4 import BeautifulSoup

session = requests.Session()

# get auth page
auth = session.get('https://apps.ktrade.pk/webterminalv3/SignIn')

# collect csrf token
soup = BeautifulSoup(auth.text, 'html.parser')
csrf_token = soup.find('input', {'name': 'csrfPreventionSalt'})['value']

# create login request
session.post('https://apps.ktrade.pk/webterminalv3/ajax/login', data={
    'username': 'your_username', 'password': 'your_password',
    'csrfPreventionSalt': csrf_token, 'actBrandName': 'KTrade'
})

隐藏领域的网页抓取

1 个答案: