使用C＃，VBA和Python的开发人员希望将数据发送到数据库中

Question

我有一个问题，我非常困惑。我最近刚毕业，开始在一家公司工作，那里的文本文件中包含很多旧数据，因此我使用Python组织了所有这些数据，并生成了一个excel文件。这样对情况很好。

问题，对于来自不同开发人员的传感器的新传入数据

1. 大多数使用VB脚本的人，人们使用分隔符（和|）测试数据并将数据保存在文本文件中。

2. 其他一些用C＃开发项目的人，这些人得到了不同种类的文本数据，它们带有不同的定界符（：和）

我必须设置数据库的问题，我如何才能将所有这些开发人员数据自动带入数据库，因为这些文本数据我已经为其创建了列名和结构。

我是否需要为所有这些开发人员开发单独的界面，还是我需要关注的通用界面，或者仍然缺少我从哪里开始？

我希望那里的人们了解我的处境。

最好的问候 Vinod

Answer 1

这些类型的实现和设计模式实际上取决于您的公司和您正在使用的开发环境。

对于选择正确的数据库，这还取决于数据类型，速度，数量以及贵公司希望使用该数据回答的常见问题。

一些非常通用的准则：

1. 逻辑示意图数据库与“ NoSQL”数据库不同
2. 在文本内搜索与搜索简单的原始类型不同，您必须知道将要做什么！
3. 如果可以，将VB脚本和C＃文本文件都转换为流行的数据结构文件（即JSON，CSV（逗号分隔的文本文件是相同的））可以帮助您将数据存储在几乎所有数据库中。
4. 为每个数据提供者实现一个特定的接口没有对与错，这取决于潜在的替代方案和您的编码风格
5. 与他人协商并准备案例研究！

希望有帮助

Answer 2

您应该考虑使用Excel的Power Query工具。您可以从多个位置获取几乎任何文件类型（包括文本文件），轻松清理和转换数据（可以随意定义），并且存储空间是无限的，而常规的Excel电子表格最多可以存储140万张行。

Answer 3

由于您尝试从不同来源获取数据，并且您正在使用SQL Server，因此可以研究SQL Server Integration Services（SSIS）。您基本上将创建SSIS包，为每个传入的数据源创建一个SSIS包，然后将数据传输到一个同类数据库中。

Answer 4

我不知道您公司的情况，但是PDI（Pentaho数据集成工具，非常适合数据转换。社区版是免费的！

但是，如果您将它们生成为excel文件，那么如果您的数据相对较小，Power Query可能是该项目的更好工具。