在SAS中删除表的最有效方法是什么?
我有一个循环和删除大量表的程序,并且想知道PROC SQL之间是否存在性能差异;和PROC DATASETS;一次删掉一个表..
或者如果有另一种方式可能???
答案 0 :(得分:13)
如果外包到操作系统是合理的,那可能是最快的。否则,我的不科学观察似乎表明proc sql
中的丢弃表是最快的。这让我感到惊讶,因为我期望proc datasets
最快。
在下面的代码中,我创建了4000个虚拟数据集,然后尝试使用不同的方法删除它们。第一个是使用sql,在我的系统上花了大约11秒来删除文件。
接下来的两个都使用proc datasets
。第一个为每个数据集创建一个delete语句,然后删除。第二个只发出一个删除命令来删除工作目录中的所有内容。 (我原本以为这种技术最快)。两个proc数据集例程报告大约20秒删除所有4000个文件。
%macro create;
proc printto log='null';run;
%do i=1 %to 4000;
data temp&i;
x=1;
y="dummy";
output;run;
%end;
proc printto;run;
%mend;
%macro delsql;
proc sql;
%do i=1 %to 4000;
drop table temp&i;
%end;
quit;
%mend;
%macro deldata1;
proc datasets library=work nolist;
%do i=1 %to 4000;
delete temp&i.;
%end;
run;quit;
%mend;
%macro deldata2;
proc datasets library=work kill;
run;quit;
%mend;
option fullstimer;
%create;
%delsql;
%create;
%deldata1;
%create;
%deldata2;
答案 1 :(得分:4)
我试图摆弄操作系统删除方法。
不建议使用X命令删除。它花了永远!
然后我在datastep中尝试使用system命令:
%macro delos;
data _null_;
do i=1 to 9;
delcmd="rm -f "!!trim(left(pathname("WORK","L")))!!"/temp"!!trim(left(put(i,4.)))!!"*.sas7*";
rc=system(delcmd);
end;
run;
%mend;
如您所见,我不得不将删除分成9个单独的删除命令。原因是,我使用通配符“*”,底层操作系统(AIX)将这些扩展到一个列表,然后它变得太大而无法处理......
程序基本上为九个文件组“temp [1-9] * .sas7 *”中的每一个构造一个删除命令并发出命令。
使用cmjohns中的create macro函数来创建4000个数据表,我可以使用这种方法在5秒内删除它们。
因此,正如我所料,直接操作系统删除是批量删除的最快方法。
答案 2 :(得分:2)
我们正在讨论表格或数据集?
表表示数据库表。要快速摆脱这些,使用proc SQL传递工具将是最快的。具体来说,如果您可以连接到数据库一次并删除所有表,则断开连接。
如果我们在讨论SAS中的数据集,我会认为proc sql和proc数据集都非常相似。从应用程序的角度来看,它们都经过相同的推导,以创建删除文件的系统命令。我从SAS用户组或演示文稿中看到的所有测试总是建议使用一种方法而不是另一种方法是基于许多变量。
如果必须以绝对最快的方式删除数据集/表,则可能只需要对其进行测试。 SAS的每次安装和设置都不同,足以保证测试。
答案 3 :(得分:2)
就哪个更快,排除超大数据而言,我会打赌他们之间几乎没有什么区别。 但是,在处理永久SAS数据集时,我喜欢使用PROC DATASETS而不是PROC SQL,因为我觉得使用SAS设计的方法更好地操作永久数据集,而不是SQL实现
答案 4 :(得分:2)
以类似方式命名的临时表的简单解决方案:
如果所有表都以相同的前缀开头,例如p1_table1和p1_table2,则以下代码将删除以p1开头的任何表
proc datasets;
delete p1: ;
run;
答案 5 :(得分:1)
proc delete是另一个虽然没有文档记录的解决方案..