如何在SQL Server中处理平面文件的自动化

时间:2018-02-10 18:02:01

标签: sql-server ssis automation flat-file

问题
我每周收到多套平面文件,需要导入我的数据库。我收到的平面文件不是传统的导入格式,因此需要通过脚本运行并解析为更友好的SQL格式。这些平面文件通常是JSON,TXT,XML,LOG等等。

当前解决方案
目前我有一个Windows窗体应用程序和另一个GUI来转换文件和bulkimport到SQL表。但是,我发现要求用户导入数据是不可靠的,我宁愿自动完成任务。

最近,我一直在创建SSIS包。由于我可以添加脚本组件,因此证明更快更有用。它允许我手动解析我抛出的任何平面文件。我的问题是找到一种自动化方法。我无法控制托管数据库的服务器。所以我无法在那里部署包来引入文件。目前,我只是手动在本地计算机上运行软件包以获取数据。

需要的解决方案
我需要一种方法让我自动获取这些平面文件。最初我想要请求和FTP服务器来转储文件。然后我的包将拾取文件并导入到SQL Server数据库中。但是,由于我无法控制该服务器上的任何本地文件夹,因此我似乎无法自动执行此操作。我有更好的方法为此找到解决方案吗?我可以在C#,Python,Powershell等中构建自定义的东西吗?我对这个场景很陌生,试图找到解决这个问题的方法一直是个噩梦。

0 个答案:

没有答案