有没有办法将公共数据库下载到硬盘?

时间:2016-09-09 09:44:17

标签: database web-scraping

我是一名社会科学研究员,我正在处理来自非政府组织,政府等各种公共数据库的数据。让我们假设我没有机会向管理员询问整个数据库。但是,如果我有足够的耐心,我可以逐个下载所有数据。但是DB的大小使得用暴力解决问题几乎是不可能的。

那么,有没有办法下载包含所有组件的公共数据库?

这是一个例子: http://www.trademap.org/tradestat/Country_SelProductCountry_TS.aspx

您可以在导入国家/地区看到日本活动物进口(美元)。是否有更快的方式来下载每个国家/地区和产品的所有数据,而不是逐个点击它们?

1 个答案:

答案 0 :(得分:0)

是的,存在用于抓取的软件和Web服务。您可以通过Google轻松找到它们 - 这是一个编程,而不是软件推荐网站。

请注意,使用自动下载工具可能会违反服务条款,并使您陷入法律纠纷。此外,网站可能会在访问速度过快时阻止您访问。