我正在创建一个代码以从联机目录中抓取联系信息,并且我的大部分代码都已完成,除了我最后的任务是弄清楚如何从收集到的URL列表中创建单个dataframe
之外。
我曾考虑过尝试为列表中的每个URL创建一个for loop
来创建一个df
,然后使用熊猫函数之一来组合它们。到目前为止,我还没有运气。我对熊猫很陌生,所以这看起来很简单。
urls = ["url1", "url2"]
driver = webdriver.Chrome(r'C:\Users\webdrivers\chromedriver.exe')
driver.implicitly_wait(15)
driver.get(url)
tables = pd.read_html(driver.page_source)
df = tables[1]
driver.close()
df.to_csv(r'C:\Users\test.csv')
同样,它可以完美地在一个URL上运行,现在我只想将dfs合并为一个df,然后将其写入.csv文件。