XD3Q_业务报表分析详细设计-增量算法.docVIP

增量算法实现

在每个需要做增量的表上做一个触发器，当表中有数据更改时（包括新增，修改），触发器触发事件，把表名，更改行的ID（关键字），更改日期放到日志表中。

日志表

表名

关键字段名

关键字段ID

日期

在外围建一张与需要做增量更新的表字段一模一样的增量表。

每天晚上定时调用存储过程抽取增量数据到增量表中：存储过程先把增量表中的数据全部删除，然后根据日期等于当天查找日志表中有更改的表名和表的关键字，再根据表名和表的关键字ID，从表中查找数据，更新到增量表中。

需要做增量更新的表：

采购合同信息表T_CONTRACT_PURCHASE_INFO

采购合同物料信息表T_CONTRACT_PURCHASE_MATERIeL

付款信息表YPAYMENT

付款金额分配表YPAYMENTITEM

货物进仓物料表T_RECEIPT_MATERIAL

货物进仓表T_RECEIPT_INFO

收款信息表YCOLLECT

收款金额分配表YCOLLECTITEM

销售合同信息表T_CONTRACT_SALES_INFO

销售合同物料信息表T_CONTRACT_SALES_MATERIeL

货物出仓表T_SHIP_INFO

货物出仓物料表T_SHIP_MATERIAL

合同组信息表T_CONTRACT_GROUP

增量表的表名为需要做增量更新的表的表名加后缀2，如采购合同信息表T_CONTRACT_PURCHASE_INFO的增量表名为T_CONTRACT_PURCHASE_INFO2

增量日志表结构：

Createtableincrement_log(table_namevarchar2(50),key_field_namevarchar2(50),key_field_idvarchar2(50),log_datevarchar2(30));

触发器处理逻辑：

当需要做增量的表数据插入时：把表名，关键字段名，关键字段ID，日期插入增量日志表increment_log中。

当需要做增量的表数据更新时：首先判断更新的关键字段ID当天数据是否已经存在表increment_log中，如果存在（说明当天对同一记录多次更新）则不做处理，如果不存在则把表名，关键字段名，关键字段ID，日期插入增量日志表increment_log中。

日志表触发器代码案例：

createorreplacetriggertest_trigger1afterinsertorupdate

ont_contract_sales_infoforeachrow

declare

integrity_errorexception;

errnointeger;

errmsgchar(200);

exist_flaginteger;

begin

ifinsertingthen

insertintoincrement_log

(table_name,

key_field_name,

key_field_id,

log_date)

values

(t_contract_sales_info,

contract_sales_id,

decode(:NEW.contract_sales_id,

null,

,

,

,

:NEW.contract_sales_id),

to_char(SYSDATE,yyyy-mm-dd));

elsifupdatingthen

BEGIN

exist_flag:=0;

SELECTcount(0)

INTOexist_flag

fromincrement_logwherekey_field_id=:NEW.contract_sales_idandlog_date=to_char(SYSDATE,yyyy-mm-dd);

EXCEPTION

WHENOTHERSTHEN

exist_flag:=0;

END;

ifexist_flag=0then

insertintoincrement_log

(table_name,

key_field_name,

key_field_id,

log