来自现有平面文件的类似DB的界面

时间:2016-12-02 10:04:48

标签: python sql database flat-file

我正在寻找最好的办法,我不确定现有的技术可以帮助我解决这个问题。

我已经将大量数据存储在平面文件中,让我们主要说标准csv文件,带或不带标头,包含ID和数字。这些文件分布在不同的文件夹中,但是以有条理的方式传播。 (即我知道如何对路径进行参数化,它们不仅仅是随机传播)。

问题在于是否有一种方法可以将这些文件用作正确的数据库。也就是说,我希望有一个界面,我可以查询并获得回复。让我举个例子:让我们说我已经记录了包含不同字段的文件。每个文件都有一个ID列表和许多条目,比如值A,值B,值C等。 例如,我想知道以A开头的每个ID以及日期x和日期y之间的时间段的值B.如果所有数据都在经典SQL表中聚合,我会查询类似

的内容
SELECT ValueB FROM MY_TABLE WHERE ID LIKE 'A%' AND Date > x AND Date < y;

是否有任何技术允许您从平面文件开始这样做? 我只需要阅读它们。这些文件由其他进程自动生成,永远不需要编辑。另一方面,定期添加新数据,因此我希望动态地执行此操作&#34;。此外,如果这项技术基于Python,我会更加熟悉(但不是必不可少的)。 在这个例子中,我想这个想法是有一些方法来定义&#34; MY_TABLE&#34;通过文件路径列表。该表在硬盘驱动器中的任何位置都不作为单个实体存在,但数据实际上是这样表示的。

非常感谢这方面的任何帮助。

谢谢!

1 个答案:

答案 0 :(得分:0)

查看ODBCDrivers,说明它可以使用CSV文件作为数据源。