Question

我正在尝试使用python抓取网页。网页网址为：https://kollainkomster.se/postnummer/

该网页包含一个搜索栏：

<input type="text" name="cf-name" pattern="[0-9 ]+" value="" placeholder="25245" size="40">

我要向其中提交输入的

。例如，这样的输入可以是：“ 17568” 。输入是通过按钮提交的：

<input type="submit" name="cf-submitted" value="Sök">

提交输入后，我要从以下返回的信息中提取元素： snittlon ：

<p class="postnrresultat resultat">Postnummer <strong>17568</strong> har <strong>
<span id="snittlon">550 628,00</span></strong> i snittinkomst och <strong>316</strong> 
i placering.<script> if(isNaN("550628.0049")){document.getElementById("snittlon").innerHTML = "550628.0049"} 
else {document.getElementById("snittlon").innerHTML = accounting.formatNumber(550628.0049, 2, " ", ",");}
</script></p>

我不确定如何实现这一目标。使事情复杂化的一件事是，显示的URL在输入提交期间保持不变。

这是我到目前为止所拥有的：

import requests
from lxml import html

r = requests.get('https://kollainkomster.se/postnummer/', 
headers ={"user-agent": 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:73.0) Gecko/20100101 Firefox/73.0'})

Answer 1

与所有抓取任务一样，请注意这样做可能不合法。确保与网站提供商联系是否良好，并在脚本中使用适当的超时时间，以免不适当地攻击网站提供商。

顺便说一句，请参见下面的示例（您可能需要使用标头配置）来了解如何获取信息（请注意，javascript执行可能不是最安全的方法，而编写自己的信息解析器可能是更好的选择）：

import requests
from bs4 import BeautifulSoup
from quickjs import Function

def get_value(script_code):
    f = Function(name="value_getter",
                 code=
        """
        function value_getter(){
            %s
        }""" % (re.sub(r'accounting\.formatNumber\((?P<num>.*), 2, " ", ","\)', 
                       r'"\g<1>"', 
                       script_code.replace('document.getElementById("snittlon").innerHTML =', 
                                           'return')))
    )
    return f()

headers = {"user-agent": '[redacted: your user agent]'}
session = requests.Session()
session.get(r"https://kollainkomster.se/postnummer/", headers=headers)
r = session.post(r"https://kollainkomster.se/postnummer/", 
                 headers=headers, 
                 data={"cf-name": 17568,                                                                   
                       "cf-submitted": "Sök"})
soup = BeautifulSoup(r.text)
income = get_value(soup.find(class_="postnrresultat resultat").find("script").text)
post_number, _, ranking = [x.text for x in 
                           soup.find(class_="postnrresultat resultat").findAll("strong")]
print(income, post_number, ranking)

输出：

393568.4065 17568 1414

抓取网页：从网页获取搜索结果

1 个答案: