Question

我有一个大型数据集并且正弦很大我必须将其拆分或一次加载一个变量。我已经加载了唯一标识符id，我需要随机选择50次观察100次。我搜索并找到样本和runiform来生成随机样本，但是我的问题是我需要生成100个样本，每个样本50个，因为我需要从整个数据集中采样，这个数据集很大，我只能保留一个变量因此我需要将采样结果保存100次。我知道我可以使用for循环，但它效率不高，甚至10个循环需要花费很多时间，是否有更快的方法来生成多个样本？这是我的代码：

scalar i=0
forvalues i=1(1)100{
clear all
use generated/data1.dta
sample 50,count
save generated/sample`i'.dta,replace
merge 1:m id using generated/10m.dta
keep if _merge==3 |_merge==1
drop _merge
compress
save generated/sample`i'.dta,replace
}

我的原始文件是面板数据，我将原始文件分割成碎片以便可以处理，现在我需要选择100个随机样本，在我用for循环执行的代码中，但我不认为它是有效的方式去。为了更好地描述问题我有一个公司的数据集，每天观察价格，回报，日期红利等等，问题是原始文件非常大，因此将其加载到内存中我必须将其分成6块所以Stata可以加载它。现在我需要为每个样本选择100个样本，每个样本有50个公司，我正在这个周期中这样做：

***Generate 100 samples***
scalar i=0
forvalues i=1(1)100{
clear all
***Select 50 companies at random***
use generated/ids.dta
sample 50,count
***Merge with part1 of the original file***
merge 1:m permno using generated/ids10m.dta
keep if _merge==1 | _merge==3
drop _merge
compress
***Keep in the both file all the ids***
save generated/both`i'.dta,replace
drop if date==.
***Fill the sample`i' with ids which have a correspondence with the date***
save generated/sample`i'.dta,replace

clear all
***Open the both file and keep only the non-match ids***
use generated/both`i'.dta,replace
keep if date==.
keep id
***Keep the non-matched ids to check at the end what's in there***
save generated/rplc`i'.dta, replace
merge 1:m id using generated/id20m.dta
keep if _merge==1 | _merge==3
drop _merge
compress
save generated/both`i'.dta,replace
drop if date==.
append using generated/sample`i'.dta
save generated/sample`i'.dta,replace

clear all
use generated/both`i'.dta,replace
keep if date==.
keep id
save generated/rplc`i'.dta, replace
merge 1:m id using generated/id30m.dta
keep if _merge==1 | _merge==3
drop _merge
compress
save generated/both`i'.dta,replace
drop if date==.
append using generated/sample`i'.dta
save generated/sample`i'.dta,replace

use generated/both`i'.dta,replace
keep if date==.
keep id
save generated/rplc`i'.dta, replace
merge 1:m id using generated/id40m.dta
keep if _merge==1 | _merge==3
drop _merge
compress
save generated/both`i'.dta,replace
drop if date==.
append using generated/sample`i'.dta
save generated/sample`i'.dta,replace

use generated/both`i'.dta,replace
keep if date==.
keep id
save generated/rplc`i'.dta, replace
merge 1:m id using generated/id50m.dta
keep if _merge==1 | _merge==3
drop _merge
compress
save generated/both`i'.dta,replace
drop if date==.
append using generated/sample`i'.dta
save generated/sample`i'.dta,replace

use generated/both`i'.dta,replace
keep if date==.
keep id
save generated/rplc`i'.dta, replace
merge 1:m id using generated/id60m.dta
keep if _merge==1 | _merge==3
drop _merge
compress
save generated/both`i'.dta,replace
drop if date==.
append using generated/sample`i'.dta
save generated/sample`i'.dta,replace
erase generated/both`i'.dta
erase generated/rplc`i'.dta
}

现在，这段代码的问题是创建100个样本大约需要40分钟，是否有更快的方法来做同样的事情？

这是一个事件研究，这里的大小不是问题，问题不在于采样而是循环的效率。

Answer 1

一个需要改进的地方在你的文件中脱颖而出：你正在进行600次合并的采样ID与＃34; big＆＃34;文件。这里的代码只需要为每个大文件合并一个，或者在你的情况下只需要六个。诀窍是将样本数据从长格式重新整形为宽格式，每个id一行，并选择id的样本指示符。将此文件与每个大数据集合并后，重新组合样本。玩具示例有两个大文件和三个样本。

clear
/* Generate 1st BIG data set */
input id  t
10  1
10  2
40  1
40  2
40  3
50  1
50  2
55  2
55  6
90  2
90  3

end
save big1, replace

* Generate 2nd BIG data set */
clear
input id  t
90   4
90   5
100  1
100  2
100  3
140  1
140  2
143  2
155  1
155  2
180  2
180  3
end
save big2, replace

/* Generate three sample data sets-you'll do this with "sample" */
clear
input sample id
1  40
1  180
end
tempfile samp1
save `samp1'

clear
input sample id
2  10
2   90
end
tempfile samp2
save `samp2'
clear
input  sample id
3  100
3  155
end

/* Step 1. Append all samples */
append using `samp1' `samp2'
order id sample
sort id sample
list


/* Step 2. Reshape Wide with one obs per id */
tempvar set
gen `set' = sample
reshape wide sample, i(id) j(`set')
tempfile t2
save `t2'
list

/* Step 3. Merge sample ids with each "big" data set
   and append the results  */

clear
tempfile t3
save `t3', emptyok replace

forvalues g = 1/2 {
use big`g', clear
merge m:1  id using `t2'
keep if _merge ==3
drop _merge
append using `t3'
save `t3', replace
}

sort id t
list, sepby(id)

/* Step 4: Reassemble samples with data into
  one data set, saved in advance */
clear
/*temporary file to hold results */
tempfile allsamps
save `allsamps', emptyok

/* Cycle through samples: change 3 to n. of samples */
forvalues i = 1/3 {
use `t3', clear
gen sample = `i' if sample`i'==`i'
drop if sample==.
append using `allsamps'
save `allsamps', replace
}
drop sample?

order sample id
sort sample id t

save allsamples,replace
list, sepby(sample)

结果：

     +------------------+
     | sample    id   t |
     |------------------|
  1. |      1    40   1 |
  2. |      1    40   2 |
  3. |      1    40   3 |
  4. |      1   180   2 |
  5. |      1   180   3 |
     |------------------|
  6. |      2    10   1 |
  7. |      2    10   2 |
  8. |      2    90   2 |
  9. |      2    90   3 |
 10. |      2    90   4 |
 11. |      2    90   5 |
     |------------------|
 12. |      3   100   1 |
 13. |      3   100   2 |
 14. |      3   100   3 |
 15. |      3   155   1 |
 16. |      3   155   2 |
     +------------------+

其他一些观察结果：

您可以通过在Stata中设置计时器来检查do文件的哪些部分花费的时间最长。请参阅timer的帮助。
sample需要各种数据。如果id文件非常大，请考虑采用不需要排序的样本的方法。 Fan et al。（1962）描述了使用此功能的抽样计划。

一个。顺序采样（风扇方法1）。参见Chromy，1979的第1页（401）

湾系统抽样

取代n = 50的随机样本，为100个样本中的每一个取10个大小为5的系统子样本。每个样本都被视为一个集群，因此提供有效的标准错误。如果您可以对公司ID列表进行信息排序（例如按大小，行业），则会产生进一步的优势。然后系统的子样本将遍布整个列表。参见Deming（1960）的许多例子。＆＃39;

参考

Chromy，JR。 1979.顺序样本选择方法。美国统计学会401-406调查研究方法科的会议记录。它可以在http://www.amstat.org/sections/srms/Proceedings/papers/1979_081.pdf

WE Deming（1960），商业研究样本设计，纽约Wiley。

Fan，C。T.，Muller，Mervin E.和Rezucha，Ivan（1962），＆＃34;通过使用顺序（逐项）选择开发采样计划技术和数字计算机，＆＃34; Journal of the American Statistical Association，57,387-402。

使用大数据集生成样本

1 个答案: