我當前的項目中包括一個6200萬行、500多列的表。其中的數據來自SQL Server以外,它們到達的表中有一個標識主鍵,所有剩下的列以varchar(50)形式保存。
問題解決
有許多日期以YYYYMMDD格式保存,這是我注意到的第一個問題。我把這些日期改為整數列。然後我發現許多整數以varchar形式保存,我把它們都改為整數。
接下來,許多列中包含“Y”或“N”或NULL。我們很可能會把它們轉換成位列,但這樣做存在一個重大的缺陷——你不能索引一個位列。因此,我把它們改成char(1) NULL。
此外,還有一些列中保存有郵政編碼,前面一列為五個數字,後面一列為四個數字或NULL。我將它們分別改成char(5)和char(4),都為NULL。
我遇到的另外一個問題是,我無法明白相當一部分列中的內容。我把它們單獨處理,為varchar(50)。我希望確定每個varchar列中保存的字符串的最大長度,但要檢查6200萬行中的所有數據中不切實際的。因此,我選擇生成所有列的char或varchar列表。
SELECT
COLUMN_NAME, DATA_TYPE,
CHARACTER_MAXIMUM_LENGTH, IS_NULLABLE
FROM
INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_NAME ='tblArthurClean'
AND DATA_TYPE IN('char','varchar')
我復制結果表中的第一列,把它粘貼到記事本中(這是我最喜歡的文本編輯器,因為它具有優秀的查找-替換功能。)要確定一個特定列中的最長數據,使用下列腳本:
SELECT Max(Len( ColumnName ))
FROM TableName
推而廣之,我希望遍歷列列表並生成我需要的聲明。我把需要的內容集中到一些格式化行中,用一個單獨的查詢來達到這個目的。
SELECT
',Max(Len( ' + COLUMN_NAME + ' ))
AS ' + COLUMN_NAME
FROM
INFORMATION_SCHEMA.COLUMNS
WHERE TABLE_NAME = 'tblArthurClean'
AND DATA_TYPE IN( 'char', 'varchar' )
列表A中是一個簡短的結果集。現在按照以下步驟執行:
Max(Len( Record_Length_Indicator_or_Filler ))
AS Record_Length_Indicator_or_Filler,
Max(Len( Job_Number )) AS Job_Number,
Max(Len( Personal_or_Firm_Name ))
AS Personal_or_Firm_Name,
Max(Len( Mailing_Address_Supplied_by_Customer
把結果集粘貼到一個文本編輯器中。
在第一行前面插入SELECT。
在文件末尾增加FROM和表的名稱。
我在文件開頭和末尾添加以下內容。
SELECT GetDate()
GO
然後我刪除輸出結果第一行前面的逗號,把它保存為一個查詢,加載再讓它運行。
我對它在我的服務器上的性能非常滿意。它只用了一個小時多一點的時間計算出結果——對於分析一個6200萬行幾百列的表,時間不算太長。
得到的結果是一行結果集,我可以用它作為修改表結構和列名稱的指導,並把這些結果與原始表聯系起來,做出相應的調整。
本文說明退一步思考如何能夠為你節省大量的輸入時間。我的座右銘是:“只要SQL能夠做的,它都應該完成。”