熊猫read_html-读取数据所在的表>>

Question

我需要scrape一些数据。熊猫：

url = "https://www.dividend.com/dividend-stocks/basic-materials/"
tables = pd.read_html(url)

当所有数据都在一个table中时，

效果很好。但是，如您所见，如果您向下滚动到“排名前314位的基本材料股利”，而不是在连续的行上显示所有信息，请分解并使用>>

对表进行分页

是否可以使用pandas（或beautifulsoup但更喜欢留在pandas api中）来跟踪分页表中的其余数据？请注意，答案不是table [0]，table 1。

我看到的最接近的答案是this：

但是我似乎无法做到这一点。