可重复的随机抽样SQL

时间:2011-02-01 07:01:00

标签: sql algorithm random data-mining netezza

我需要检查我的解决方案,从存储在MPP机器上的表中取样100个随机行(目前是Netezza,后来可能是hadoop /等)。

我对使用Netezza的rand()不感兴趣,因为我希望以后能够重现相同的样本,而且我不指望使用setseed()。

我现在使用的解决方案是:

SELECT * FROM MY_TABLE ORDER BY ID % 371, ID % 17, ID % 501, ID LIMIT 100

其中3个数字是素数我是由我自己的RNG生成的。 我是在正确的轨道上吗? 这个“随机”样本是否足够随机?

注意:我不需要它是一个加密的强随机样本,我只想确保每次都选择一个不同的样本,并统一采样,我希望能够轻松地重现我的样本(通过执行相同的SQL),如果需要。

谢谢!

1 个答案:

答案 0 :(得分:2)

我不会尝试在SQL中生成随机数,因为它很容易获得一些真正的随机数,将它们粘贴在表格或存储过程中。

转到https://www.fourmilab.ch/hotbits/secure_generate.html以十六进制获取256个随机位,一次将数字4分组,转换为十进制整数,然后使用前100个数字作为键。

您将拥有可重复的序列,您可以根据需要制作尽可能多的真正随机序列。

如果您需要具有均匀分布的可重复伪随机数,则适用相同的原则。只需使用不同的数字源。例如,您可以编写一个Python脚本,该脚本使用包含的random模块来生成您的数字。

对于要使用的SQL,如果正确构建数据库,则很简单。在这种情况下,由于我构建了一次随机表,并且不止一次地将它用于查询,我将构建表以包含主键,而不仅仅是生成的随机数。或者如果我要用不同的数字集重复这个,那么我将构建一个关系表(如在ER建模中),它将随机数表链接到我正在采样的表。我不会强制所有内容都进入SQL但生成随机数表并使用脚本语言构建关系表。

在上面给出的示例中,您需要100个样本,因此随机抽样表将包含由外部脚本选择的100个主键。每次运行采样时,您都会获得完全相同的记录,直到您更改随机采样表。要更改表,请转储要采样的表的主键,然后运行脚本以随机选择100,方法是在1和主键总数之间生成100个数字。如果您使用像Python这样的工具,您可以获得统一的随机数,伽马分布,高斯,对数正态,帕累托等。