我是oracle的新手,我必须与这个问题作斗争。
我的桌子里面有大约520万行。我必须获取所有行并在NoSQL数据库中导入它们(非规范化)。
该表有两个整数字段C_ID和A_ID以及3个索引,一个在C_ID上,一个在A_ID上,一个在两个字段上。
我一开始就尝试过这种方式:
SELECT C_ID, A_ID FROM M_TABLE;
这从未在合理的时间内给我任何结果(我无法衡量时间,因为它似乎永远不会完成)。
我以这种方式更改了查询:
SELECT /*+ ALL_ROWS */ C_ID, A_ID FROM (SELECT
rownum rn, C_ID, A_ID
FROM
M_TABLE WHERE rownum < ((:1 * :2 ) +1 )) WHERE rn >= (((:1 -1) * :2 ) +1 );
我使用3个线程并行运行此查询,并使用大小为1000的页面进行分页。
我尝试引入三种优化:
1)我在表格上创建了统计数据:
ANALYZE TABLE TABLE_M ESTIMATE STATISTICS SAMPLE 5 PERCENT;
2)我在8个分区中对表进行了分区。
3)我用并行选项创建了表。
现在我每秒可以获取10000行,因此整个过程大约需要15个小时才能完成(数据库运行在4核,8 GB机器上)。
问题是我需要在最多5个小时内完成所有操作。
我没有想法,因此,在我要求新机器之前,你知道如何在这种情况下提高性能。
答案 0 :(得分:5)
Oracle非常聪明地告诉我们它花了多少时间。您可以通过使用Oracle的扩展SQL跟踪(换言之,10046跟踪)跟踪会话来执行此操作。您的查询是从一个包含大量数据的表中提取数据。检查您的IO速率(db_file_scattered_read),这可能是您查询的最常见等待事件之一。
希望它有所帮助。
答案 1 :(得分:5)
你对结果怎么做?是直接使用PL / SQL获取文件还是使用其他应用程序处理数据?它是通过网络发送的吗? (这可能是低悬的果实)。
我问的原因是FULL SCAN
(没有ORDER BY)通常会立即返回第一行。如果您要将结果输出到文件,您应该看到它立即开始填满。如果不这样做,这意味着在段的开头有很多空的空间,这可以解释为什么查询永远不会返回(至少在合理的时间内)。
所以当你说你的查询没有回复时我有点担心,你怎么知道?以下块是否返回?
DECLARE
l NUMBER := 0;
BEGIN
FOR cc IN (SELECT C_ID, A_ID FROM M_TABLE) LOOP
l := l + 1;
EXIT WHEN l >= 100000;
END LOOP;
END;
如果是,则表示正在处理您的全扫描。通过对上述查询进行计时,您应该能够计算完整单个SCAN所需的时间,假设该段是均匀密集的。
读取500M行是很多工作但是行很小,所以如果表段压缩得很好,Oracle应该在合理的时间内返回所有行。如果重复删除,则表段可能具有低效的空间配置,然后加载INSERT /*+APPEND*/
。重建表(ALTER TABLE MOVE
)将删除段中所有空的无用空间。顺便说一句,当您对表进行分区时,您确实重建了它,因此这可能就是您的查询现在返回的原因!!
在任何情况下,我都会建议您重建FULL TABLE SCAN,可能在重建表格后重置任何空白区域和高水位标记。单个FULL TABLE SCAN是迄今为止访问大量数据的最可靠方法(也是最有效的方法之一)。
如果您需要进一步提高性能,建议您查看ROWID分区(DIY parallel processing计划)或内置程序包DBMS_PARALLEL_EXECUTE
。
答案 2 :(得分:2)
尝试这可能是一个激烈的解决方案,但你可以看看表压缩。在Oracle 10g中,这对只读表非常有用,因为在写操作完成时块是未压缩的。我发现压缩对于数据仓库环境中的大型表非常有用。
也可以只压缩某些分区,以便将数据添加到按日期分区的表的末尾,您可以压缩历史分区,同时保留最新的分区。
表压缩的优点是它减少了所需的I / O量,这有助于I / O约束系统。我经常从表中获得10:1压缩,尽管它取决于表中存储的内容以及插入数据时使用的排序。
对于现有表格,我认为您可以使用以下命令:
ALTER TABLE M_TABLE COMPRESS MOVE;
请注意,这可能有助于解决您的问题,但更改表的基础结构可能会有点激烈。此外,将表重建为压缩可能会使某些索引无效。
在Oracle 11g下,您还可以使用高级压缩功能,允许更新数据,但这会导致昂贵的许可成本。
中有一些文档this PDF document和更多信息答案 3 :(得分:1)
是的,如用户2033072所述,您应该使用SQL Trace
和TkProf
来了解有关查询的更多信息。你可以看到official documentation。
此外,更简单地说,您可以使用explain plan
,这样Oracle就会显示它计划执行的操作。