SQL查询或大数据的程序化过滤器?

时间:2013-07-19 23:33:29

标签: python sql-server-2008 map bigdata

我正在使用Python,从MS SQL Server数据库中获取大量数据并处理用于制作图形的数据。

真正的问题是,我想知道在查询中使用WHERE和SELECT DISTINCT等属性重复执行查询以过滤数据(使用pyodbc进行SQL查询)是否是个好主意

OR

获取数据并使用列表推导,映射和过滤python的功能,以过滤我代码本身的数据。

如果我选择前者,会执行大约1k次查询,减少我的python代码的重大负载,否则如果我选择后者,我会查询一次并添加一堆函数来遍历所有记录我取得了,或多或少相同的次数(1k)。

事情是python不是纯粹的功能,(如果是的话,我不会问,并且现在已经完成并测试了我的工作数百次)。

你们会推荐哪一个人?

供参考我使用的是Python 2.7。如果您也可以提供信息来源,我们将非常感激。此外,Space不是获取整个数据的问题。

由于

1 个答案:

答案 0 :(得分:0)

如果您有可以刻录的带宽,并且更喜欢Python到SQL,请继续执行一个大查询并使用Python进行过滤。

否则,您可能会因多次查询而感觉更好。

对不起,这里没有引用。 ^ _ ^