程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
 程式師世界 >> 數據庫知識 >> Oracle數據庫 >> Oracle數據庫基礎 >> oracle大數據表(千萬級)修改,刪除優化技巧

oracle大數據表(千萬級)修改,刪除優化技巧

編輯:Oracle數據庫基礎

運行下面的SQL
delete  from idwsq11.SH30_PRCSS_EXCTN_LOG e
where deriv_prCSS_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
省略其他信息。。。。。
為啥老外自己不做呢? 其實冤枉他了,他刪除了的 不過等了半小時還沒完,不耐煩了,然後kill了給我刪除。
explain plan for delete from idwsq11.SH30_PRCSS_EXCTN_LOG e
where deriv_prCSS_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
SQL> select * from table(dbms_xplan.display);
PLAN_TABLE_OUTPUT
--------------------------------------------------------------------------------------------------------
Plan hash value: 1015128491
-----------------------------------------------------------------------------------------------
| Id  | Operation         | Name                      | Rows  | Bytes | Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------------
|   0 | DELETE STATEMENT  |                           |   203K|  5161K|   432   (3)| 00:00:05 |
|   1 |  DELETE           | SH30_PRCSS_EXCTN_LOG      |       |       |            |          |
|*  2 |   INDEX RANGE SCAN| SH30_PRCSS_EXCTN_LOG_IDX6 |   203K|  5161K|   432   (3)| 00:00:05 |
-----------------------------------------------------------------------------------------------
Predicate Information (identifIEd by Operation id):
---------------------------------------------------
   2 - Access("DERIV_PRCSS_TIME_STAMP"<TO_DATE('2010-01-01 00:00:00', 'yyyy-mm-dd
              hh24:mi:ss'))
15 rows selected.
SQL> select count(*) from idwsq11.SH30_PRCSS_EXCTN_LOG;
  COUNT(*)
----------
    342124
Elapsed: 00:00:02.87
SQL> select count(*) from idwsq11.SH30_PRCSS_EXCTN_LOG
  2  where deriv_prCSS_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
  COUNT(*)
----------
    192332
要刪除192332條數據,表一共有342124條數據,執行計劃居然走索引,很明顯表統計信息過期了,執行計劃有問題。
這也不難解釋為什麼老外刪了半天沒動靜
select ' alter index ' ||  index_owner || '.' || index_name  ||' unusable ;'name from
dba_ind_columns where table_owner=upper('idwsq13') and
table_name=upper('SH30_PRCSS_EXCTN_LOG');
alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX3 unusable ;
alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX4 unusable ;
alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX5 unusable ;
alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX6 unusable ;
alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX2 unusable ;
SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX3 unusable ;
 
Index altered.
 
Elapsed: 00:00:00.93
SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX4 unusable ;
 
Index altered.
 
Elapsed: 00:00:01.95
SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX5 unusable ;
 
Index altered.
 
Elapsed: 00:00:00.95
SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX6 unusable ;
 
Index altered.
 
Elapsed: 00:00:00.93
SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX2 unusable ;
 
Index altered.
 
Elapsed: 00:00:02.03
 
SQL> delete /*+ parallel(e,8)*/ from idwsq11.SH30_PRCSS_EXCTN_LOG e
  2  where deriv_prCSS_time_stamp < to_date('2010-JAN-01', 'YYYY-MON-DD');
 
192332 rows deleted.
 
Elapsed: 00:00:07.04
SQL> commit;
 
Commit complete.
 
Elapsed: 00:00:00.93
 
SQL> alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX3 rebuild online nologging parallel ;
 
Index altered.
 
Elapsed: 00:02:52.76
SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX4 rebuild online nologging parallel ;
 
Index altered.
 
Elapsed: 00:00:05.59
SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX5 rebuild online nologging parallel ;
 
Index altered.
 
Elapsed: 00:00:04.35
SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX6 rebuild online nologging parallel ;
 
Index altered.
 
Elapsed: 00:00:04.03
SQL>  alter index IDWSQ11.SH30_PRCSS_EXCTN_LOG_IDX2 rebuild online nologging parallel ;
 
Index altered.
 
 
Elapsed: 00:00:04.86
 
 
 現在多快啊,不到2分鐘全部搞定。
總結:如果要對表進行大規模delete操作,大規模update,先看看執行計劃,評估一下走索引好還是走全表掃描好(全表掃描還可以利用並行特征),如果表上面有索引,那麼先unusable索引,然後rebuild 索引。如果是刪除操作,那麼還要 alter table move。降低高水位,然後再 rebuild index。
如果要對表進行大規模批量加載 那麼先 unusable index ,然後 append parallel nologging ,最後rebuild index
批量加載示例:
insert into /*+ append parallel nologging */ ADWGU_DICFR.DICFR_SALES_FCT select /*+ parallel(e,8) */ * from adwgq_dicfr.DICFR_SALES_FCT@adw1d e;
今天我就做了個 dblink加載1億1千萬條的記錄,花了1小時10分鐘。
注意parallel 根據CPU核數設置,如果你CPU有8個核,那麼你可以設置parallel 8

  1. 上一頁:
  2. 下一頁:
Copyright © 程式師世界 All Rights Reserved