自动从网站下载csv文件并添加到数据库

Question

我想编写一个程序，自动下载网页上的所有csv文件，然后将这些csv文件中的数据输入到SQL Server中。我编写了宏来从csv输入数据到SQL服务器。我只是希望你们帮我每天从网站上自动下载文件。它与webscraping类似吗？我是网络编程的新手。所以请指导我使用哪种语言

Answer 1

使用PowerShell非常简单：

$web = New-Object System.Net.WebClient
$web.Downloadstring("http://<your url here>") | out-file $env:tmp\MyFile.csv

然后使用

  

导入-CSV

和SQLServer PowerShell provider将数据注入SQLServer。

Answer 2

我像往常一样推荐Python。

在您弄清楚如何使用它之后，我将使用以下模块：

• csv - 用于解析CSV文件。
• urllib2 - 用于下载文件。
• SQLAlchemy用于数据库操作。

Answer 3

我还建议使用PowerShell方法来完成这项工作。

1. 通过WebClient从网上下载数据，如@David Brabant说
2. 然后使用Import-Csv逐行获取数据Invoke-Sqlcmd -Query '<sql statements>'
3. 最后，在脚本中使用SQL Server PowerShell模块将数据上传到SQL Server request.remote_ip

这里有一个完整的示例脚本供您下载和学习。 How to use SQL Server PowerShell Module to import data from CSV file