无法使用请求从下一页获取公司链接

Question

我已经在python中创建了一个脚本，以从网站获取不同货运公司的链接。其中有3501条记录遍历多页。我想抓住这些记录的链接。我目前的尝试可以从它的登陆页面中获取链接，但是我找不到任何方法可以转到下一页以从那里解析链接，依此类推。

website link

我尝试过：

import requests
from bs4 import BeautifulSoup

url = 'http://www.truckingcompanies.ca/trucking_new-york/'

def get_links(link):
    r = requests.get(link)
    soup = BeautifulSoup(r.text,"lxml")
    for item in soup.select("[id^='trucking_company_record_'] a[id^='company_name_']"):
        print(item.get("href"))

if __name__ == '__main__':
    get_links(url)

我如何获取使用请求遍历下一页的不同公司的链接？