如何从网址列表创建单个数据框?

时间:2019-05-01 16:22:35

标签: python pandas dataframe

我正在创建一个代码以从联机目录中抓取联系信息,并且我的大部分代码都已完成,除了我最后的任务是弄清楚如何从收集到的URL列表中创建单个dataframe之外。

我曾考虑过尝试为列表中的每个URL创建一个for loop来创建一个df,然后使用熊猫函数之一来组合它们。到目前为止,我还没有运气。我对熊猫很陌生,所以这看起来很简单。

urls = ["url1", "url2"]
driver = webdriver.Chrome(r'C:\Users\webdrivers\chromedriver.exe')
driver.implicitly_wait(15)
driver.get(url)

tables = pd.read_html(driver.page_source)
df = tables[1]
driver.close()

df.to_csv(r'C:\Users\test.csv')

同样,它可以完美地在一个URL上运行,现在我只想将dfs合并为一个df,然后将其写入.csv文件。

0 个答案:

没有答案