Question

我无法从作业发布链接获取每个href确实用于网络抓取。我有工作代码，但它会拉动每个链接的重复。如何在每次循环时使用href正确更新“url =”？

我是编码的新手，所以这可能不是最干净的方法，但它在另一个网站上对我有用。我还没有弄清楚HTML的正确性，以使其在这里工作。

r = requests.get("https://www.indeed.com/jobs?q=utc+aerospace+systems&start")
soup = BeautifulSoup(r.content, "html.parser")
tbl = soup.find(id="resultsCol")
for link in tbl.find_all('a'):
    if link.has_attr('href') and "clk" in link.attrs['href'] and "salaries" not in link.attrs['href']:
        url = link.attrs['href']

结果：

/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f12a6670df50b816&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=62ef34e2a67121e0&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=b19d7c080f9edc97&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=cea00222b8b24751&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=28385e17b1329fca&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=36c064f923e65b58&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=5d56cbb56d1f6e1c&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a8502457bd11c043&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=ab10445ebf43a603&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=c5c65f4d254331ea&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=715dfc2f4e97b0eb&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=f4490d9a547e5f7f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=8770e5ed714e57a7&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=fb261111cfa268ac&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98
/rc/clk?jk=a728a4031bbf304f&fccid=d1eb5e07f9ef9f98

Answer 1

我也尝试过你的代码，它运行得很好，考虑到你的IDE或其他组件可能存在问题。作为建议，我更改了一些代码以简化并避免可能的重复。

r = requests.get("https://www.indeed.com/jobs?
q=utc+aerospace+systems&start")
soup = BeautifulSoup(r.content, "html.parser")
tbl = soup.find(id="resultsCol")
for link in tbl.find_all('a', attrs = {'class' : 'turnstileLink'}):
    url = link.attrs['href']
    print(url)

但是，注意！ class 属性由网站开发人员设置，因此，如果他忘了或写错了，你将失去一个链接（它已经发生在我身上）。

Answer 2

试试这个。它有望满足您的目的：

import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin

url = "https://www.indeed.com/jobs?q=utc+aerospace+systems&start"
res = requests.get(url)
soup = BeautifulSoup(res.content, "lxml")
for link in soup.select("[itemprop=title]"):
    absolute_link = urljoin(url,link.get("href"))
    print(absolute_link)

结果：

https://www.indeed.com/rc/clk?jk=f19ae81bf0ce87bc&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=df34fbdde1ececad&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=d7ecb6481d2440ab&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=b1acd1e6ff5bd6f2&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=82cbb505ce5234b4&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=2e395b6f9b2acbf2&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=8d5773bab5ed10a8&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=5f18be10a4d93d2e&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=dc83d0b285578642&fccid=d1eb5e07f9ef9f98
https://www.indeed.com/rc/clk?jk=6fd28995042b398c&fccid=d1eb5e07f9ef9f98

如何提取每个href的工作发布确实用于网络抓取？

2 个答案: