现在我有一个select查询，基本上Table1减去table2（包括不同的记录），Left join和filter nulls。
我的查询是：
SELECT table1.serial_number,
table1.equip_account_number,
table1.equip_service_address_id,
table1.equip_ani_phone_number,
table1.equip_part_number,
table1.equip_polled_date,
table1.equip_zone_map,
table1.equip_return_value,
table1.equip_renewal_frequency,
table1.equip_last_renewal_date,
table1.equip_in_stock_date,
table1.equip_assigned_addresses,
table1.equip_link_to_serial_number,
table1.equip_converter_type,
table1.equip_converter_id,
table1.equip_converter_model,
table1.equip_converter_options,
table1.equip_converter_value,
table1.equip_emp_code,
table1.equip_vendor_code,
table1.equip_headend_code,
table1.equip_distributor_code,
table1.equip_manufacturer_code,
table1.equip_location_code,
table1.equip_group_code,
table1.equip_ownership_code,
table1.equip_secondary_conv_info,
table1.equip_secondary_conv_type,
table1.equip_second_conv_manufacturer,
table1.equip_second_conv_install_date,
table1.call_back_cycle_day,
table1.call_back_last_date,
table1.call_back_request_date,
table1.trx_equip_status_code,
table1.trx_equip_reason_code,
table1.tv_ind,
table1.int_ind,
table1.tel_ind,
table1.dwh_create_date,
table1.dwh_update_date,
table1.equip_outlet_location_code,
table1.equip_return_date_due,
table1.equip_unrecovered_ind,
table1.equip_delete_date,
table1.install_date,
table1.work_order_number,
table1.ds_work_order_number,
table1.disconnect_emp_code,
table1.disconnect_date,
table1.ds_equip_location,
table1.equip_active_in_tv_ind,
table1.equip_active_in_tel_ind,
table1.equip_active_in_int_ind,
table1.equip_active_intv_change_date,
table1.equip_active_intel_change_date,
table1.equip_active_inint_change_date,
table1.pirat_ind,
table1.pirat_ind_change_date,
table1.equip_owner
FROM dim_equip,
scd_equip
WHERE table2.dwh_end_date(+) = To_date('31/12/2999', 'DD/MM/YYYY')
AND ( table2.serial_number IS NULL
OR ( table1.equip_account_number <> table2.equip_account_number
OR table1.equip_service_address_id <>
table2.equip_service_address_id
OR table1.equip_ani_phone_number <>
table2.equip_ani_phone_number
OR table1.equip_part_number <> table2.equip_part_number
OR table1.equip_polled_date <> table2.equip_polled_date
OR table1.equip_zone_map <> table2.equip_zone_map
OR table1.equip_return_value <> table2.equip_return_value
OR table1.equip_renewal_frequency <>
table2.equip_renewal_frequency
OR table1.equip_last_renewal_date <>
table2.equip_last_renewal_date
OR table1.equip_in_stock_date <> table2.equip_in_stock_date
OR table1.equip_assigned_addresses <>
table2.equip_assigned_addresses
OR table1.equip_link_to_serial_number <>
table2.equip_link_to_serial_number
OR table1.equip_converter_type <>
table2.equip_converter_type
OR table1.equip_converter_id <> table2.equip_converter_id
OR table1.equip_converter_model <>
table2.equip_converter_model
OR table1.equip_converter_options <>
table2.equip_converter_options
OR table1.equip_converter_value <>
table2.equip_converter_value
OR table1.equip_emp_code <> table2.equip_emp_code
OR table1.equip_vendor_code <> table2.equip_vendor_code
OR table1.equip_headend_code <> table2.equip_headend_code
OR table1.equip_distributor_code <>
table2.equip_distributor_code
OR table1.equip_manufacturer_code <>
table2.equip_manufacturer_code
OR table1.equip_location_code <> table2.equip_location_code
OR table1.equip_group_code <> table2.equip_group_code
OR table1.equip_ownership_code <>
table2.equip_ownership_code
OR table1.equip_secondary_conv_info <>
table2.equip_secondary_conv_info
OR table1.equip_secondary_conv_type <>
table2.equip_secondary_conv_type
OR table1.equip_second_conv_manufacturer <>
table2.equip_second_conv_manufacturer
OR table1.equip_second_conv_install_date <>
table2.equip_second_conv_install_date
OR table1.call_back_cycle_day <> table2.call_back_cycle_day
OR table1.call_back_last_date <> table2.call_back_last_date
OR table1.call_back_request_date <>
table2.call_back_request_date
OR table1.trx_equip_status_code <>
table2.trx_equip_status_code
OR table1.trx_equip_reason_code <>
table2.trx_equip_reason_code
OR table1.tv_ind <> table2.tv_ind
OR table1.int_ind <> table2.int_ind
OR table1.tel_ind <> table2.tel_ind
OR table1.equip_outlet_location_code <>
table2.equip_outlet_location_code
OR table1.equip_return_date_due <>
table2.equip_return_date_due
OR table1.equip_unrecovered_ind <>
table2.equip_unrecovered_ind
OR table1.equip_delete_date <> table2.equip_delete_date
OR table1.install_date <> table2.install_date
OR table1.work_order_number <> table2.work_order_number
OR table1.ds_work_order_number <>
table2.ds_work_order_number
OR table1.disconnect_emp_code <> table2.disconnect_emp_code
OR table1.disconnect_date <> table2.disconnect_date
OR table1.ds_equip_location <> table2.ds_equip_location
OR table1.equip_active_in_tv_ind <>
table2.equip_active_in_tv_ind
OR table1.equip_active_in_tel_ind <>
table2.equip_active_in_tel_ind
OR table1.equip_active_in_int_ind <>
table2.equip_active_in_int_ind
OR table1.equip_active_intv_change_date <>
table2.equip_active_intv_change_date
OR table1.equip_active_intel_change_date <>
table2.equip_active_intel_change_date
OR table1.equip_active_inint_change_date <>
table2.equip_active_inint_change_date
OR table1.pirat_ind <> Nvl(table2.pirat_ind, 0)
OR table1.pirat_ind_change_date <>
NVL(table2.pirat_ind_change_date,
TO_DATE('01/01/0001', 'DD/MM/YYYY'))
OR table1.equip_owner <> table2.equip_owner) )
AND table1.serial_number = table2.serial_number(+)
Table1只有唯一索引和PK - SERIAL_NUMBER
Table2有唯一索引和PK - DWH_SERIAL_KEY
和普通索引 - DWH_END_DATE, EQUIP_ACCOUNT_NUMBER, SERIAL_NUMBER。
Table1有13MIL记录，table2有更多记录，但在第一个条件(END_DATE=2999)之后它返回13MIL记录。
查询大约需要10-25分钟，具体取决于每天到达的数据量。
任何有关如何加快速度的想法都会受到关注。
答案 0 :(得分：3)
您编写的查询和使用MINUS的变体需要比较所有列，从而导致性能问题。
我建议更新表格的建模方式，以便更轻松，更快地识别修改后的记录。
例如，您可以跟踪每条记录的上次修改日期，以及上次执行数据更新过程的日期。将最后一个修改列与时间戳进行比较可以更快地为您提供所需的记录，因为只需要比较一列。
如果您不能选择此选项，则可能需要执行以下操作：
（但实际上，尝试推荐的方法，这是行业中使用的，并且有理由）。
向table1和table2添加一个额外的列record_hash，填充以下内容：
ora_hash(equip_account_number||equip_service_address_id||equip_ani_phone_number||...||equip_owner)
确保以与您想要比较记录相同的方式映射ora_hash中的所有列（在适当的地方使用nvl）。
然后你可以用更简单的方式做负逻辑：
SELECT *
FROM table1 tb1,
( -- this subquery compares record from both tables and returns the serial_number of all new/modified records inside table1
SELECT table1.serial_number,
table1.record_hash
FROM table1
minus
select table2.serial_number,
table2.record_hash
From table2
WHERE table2.dwh_end_date = to_date('31/12/2999', 'DD/MM/YYYY')
) diff
where diff.serial_number = tb1.serial_number
ora_hash是documented here。
另外：阅读collisions。
答案 1 :(得分：0)
查看你的代码似乎你想要一个不在其他集合中的集合的值 如果您使用的是Oracle，则每个操作都可以使用减去子句。
您查询的第二部分......
AND ( table2.serial_number IS NULL
OR ( table1.equip_account_number <> table2.equip_account_number
OR table1.equip_service_address_id <>
table2.equip_service_address_id
OR table1.equip_ani_phone_number <>
table2.equip_ani_phone_number ...
......
可以很容易地改变表2中数据的减号，而不是表1中的数据
以下代码只是部分样本（建议）
SELECT table1.serial_number,
table1.equip_account_number,
table1.equip_service_address_id,
table1.equip_ani_phone_number,
table1.equip_part_number,
......
......
table1.pirat_ind,
table1.pirat_ind_change_date,
table1.equip_owner
FROM table1,
minus
select table2.serial_number,
table2.equip_account_number,
table2.equip_service_address_id,
table2.equip_ani_phone_number,
table2.equip_part_number,
WHERE table2.dwh_end_date(+) = To_date('31/12/2999', 'DD/MM/YYYY')
AND table2.serial_number IS NULL;
答案 2 :(得分：-1)
基本上Edge是正确的但是关于减去他有点错误的串行nuber IS NULL不需要并且在table1之后没有逗号我认为应该是：
SELECT table1.serial_number,
table1.equip_account_number,
table1.equip_service_address_id,
table1.equip_ani_phone_number,
table1.equip_part_number,
......
......
table1.pirat_ind,
table1.pirat_ind_change_date,
table1.equip_owner
FROM table1
minus
select table2.serial_number,
table2.equip_account_number,
table2.equip_service_address_id,
table2.equip_ani_phone_number,
table2.equip_part_number,
......
table2.equip_owner
From table2
WHERE table2.dwh_end_date(+) = To_date('31/12/2999', 'DD/MM/YYYY');
但我不确定这会有多快。 希望这可以帮到你，如果你得到了结果，请告诉我们，对这个问题真的很感兴趣：）