Question

在我们的数据库（Oracle 12c，Exadata）中，我们计划存储销售数据。包含销售数据的输入文本文件每天都会出现（每天大约1000个文件，每个文件包含~20000行）。读取文本文件并将其转移到db asap。根据我们的计算，它将在一年内增长到5TB。

数据格式： [transaction date][category][sales_number][buyer_id][other columns]

销售数据分为10个不同的类别和相同的字段。数据逻辑上可以存储在一个表中，也可以分成10个表（关于类别）。

在oracle中存储此类大数据的最佳做法是什么？应该采用什么样的分区和索引策略？

约束：数据应在2-3天内提供给营销部门进行分析。基于[sales_number]或[category]，[buyer_id]或[buyer_id]列的查询。

Answer 1

如果已知类别数并修复，则可以为每个类别使用子分区。一种方法可能就是这个：

CREATE TABLE SALES_DATA
(
  TRANSACTION_DATE TIMESTAMP(0) NOT NULL,
  CATEGORY NUMBER NOT NULL,
  SALES_NUMBER NUMBER, 
  BUYER_ID NUMBER,
  [OTHER COLUMNS]
)
PARTITION BY RANGE (TRANSACTION_DATE) INTERVAL (INTERVAL '1' DAY)
SUBPARTITION BY LIST (CATEGORY)
SUBPARTITION TEMPLATE 
    (
        SUBPARTITION CAT_1 VALUES (1), 
        SUBPARTITION CAT_2 VALUES (2),
        SUBPARTITION CAT_3_AND_4 VALUES (3,4), 
        SUBPARTITION CAT_5 VALUES (5),
        ...
        SUBPARTITION CAT_10 VALUES (10),
        SUBPARTITION CAT_OTHERS VALUES (DEFAULT)        
    )
    (
        PARTITION P_INITIAL VALUES LESS THAN (TIMESTAMP '2018-01-01 00:00:00')  
    );

sales_number和buyer_id需要本地索引。如果需要，您可以将每个（子）分区放入一个单独的表空间。

Oracle 12c - 大小超过5 TB的表

1 个答案: