以下的文章主要介紹的是Oracle數據庫,sql loader快速的生成大量的相關數據的實際操作步驟，以下就是對其生成大量相關測試數據的具體思路的詳細描述。以下就是對其相關內容的具體描述。
一，用plsql developer 生成csv 文件
二，用>>輸出重定向，追加到一個cvs 文件裡。
三，再用sql loader 快速載入。
在plsql developer 執行
Sql代碼
SELECT object_id,object_name FROM dba_objects;
右鍵plsql developer 導出csv 格式 1.csv。在Linux 上執行下面的腳本
C代碼
#!/bin/bash
for((i=1;i<200;i=i+1))
do
cat 1.csv >> 2.csv;
echo $i;
done
這樣 50000 * 200 差不到就有一千萬的數據了。我測試的 11047500 392M
可以用:
Linux代碼
wc -l 2.csv
查看csv 裡有多少條數據。現在測試數據有了。我們來試一下sql loader 的載入效果吧。
創建sqlloader 控制文件如下,保存為1.ctl
Sqlldr ctl代碼
load data
infile '2.csv'
into table my_objects
fIElds terminated by ','optionally enclosed by '"'
(object_id,
object_name
);
控制文件簡要說明：
-- INFILE 'n.csv' 導入多個文件
-- INFILE * 要導入的內容就在control文件裡 下面的BEGINDATA後面就是導入的內容
--BADFILE '1.bad' 指定壞文件地址
--apend into table my_objects 追加
-- INSERT 裝載空表 如果原先的表有數據 sqlloader會停止 默認值
-- REPLACE 原先的表有數據 原先的數據會全部刪除
-- TRUNCATE 指定的內容和replace的相同 會用truncate語句刪除現存數據
--可以指定位置加載
--(object_id position(1:3) char,object_name position(5:7) char)
--分別指定分隔符
--(object_id char terminated by ",", object_name char terminated by ",")
--執行sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true
--30秒可以載入200萬的測試數據 79MB
--sqlldr userid＝/ control＝result1.ctl direct＝true parallel＝true
--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true
--sqlldr userid＝/ control＝result2.ctl direct＝true parallel＝true
--當加載大量數據時（大約超過10GB），最好抑制日志的產生：
--SQLALTER TABLE RESULTXT nologging;
--這樣不產生REDO LOG，可以提高效率。然後在CONTROL文件中load data上面加一行：unrecoverable
--此選項必須要與DIRECT共同應用。
--在並發操作時，Oracle數據庫聲稱可以達到每小時處理100GB數據的能力！其實，估計能到1－10G就算不錯了，開始可用結構
--相同的文件，但只有少量數據，成功後開始加載大量數據，這樣可以避免時間的浪費
下面就是執行了
Shell代碼
sqlldr userid=scott/a123 control=1.ctl log=1.out direct=true
結果：30秒可以載入200萬的測試數據 79MB
226秒載入1100萬的測試數據 392Mb
我的環境是在虛擬機，測得的結果
MemTotal: 949948 kB
model name : Intel(R) Pentium(R) D CPU 2.80GHz
stepping : 8
cpu MHz : 2799.560
cache size : 1024 KB
還是挺快的：）
以上的相關內容就是對Oracle數據庫,sql loader及快速生成大量數據的介紹，望你能有所收獲。
