实时网页抓取

Question

我目前正在使用BeautifulSoup进行网络抓取，如下面的代码所示，该文件是用xml提取并以xml编写的，我只是想知道随着网站每5分钟更新一次，我该怎么做才能使其实时。

import csv
import requests
from bs4 import BeautifulSoup

url = 'http://www.dublincity.ie/dublintraffic/cpdata.xml?1543254514266'

res = requests.get(url)
soup = BeautifulSoup(res.content,"xml")
data = []
for item in soup.select("carpark"):
    ditem = {}
    ditem['Name'] = item.get("name")
    ditem['Spaces'] = item.get("spaces")
    data.append(ditem)

with open("xmldocs.csv","w",newline="") as f:
    writer = csv.DictWriter(f,["Name","Spaces"])
    writer.writeheader()
    for info in data:
        writer.writerow(info)

Answer 1

您可以使用while循环，然后最后可以添加sleep 5分钟。

以您的示例为例：

new SimpleEntry<>(e.getKey(),x.getMyKey())