在sql server 復制中,當在發布數據庫執行1個大事務時,如一次性操作 十萬或百萬以上的數據。當操作數據在發布數據庫執行完成後 ,日志讀取器代理將掃描事務日志,一次性傳遞到分發數據庫中。若上個事務未傳遞完成,連續執行多個事務,日志讀取器代理將掃描日志中多個事務同時傳遞到分發數據庫中,默認最大掃描500個事務。如果執行多次上百萬或千萬的數據將堵塞很久。
日志讀取器代理可配置將大事務劃分為多個小事務進行傳遞到分發數據庫中,分發隊列則按照小事務分發到訂閱數據庫中,這樣數據就很快同步!
在沒改代理參數之前,本人執行1次插入30萬的數據到發布表中。插入完成後,監控發布到分發的記錄如下:
可以看到,這1個事務的命令都得一次傳遞完才能分發,而分發又消耗時間,這裡等待太久影響事務的實時性。
如果還有其他事務,默認500(參考參數:-ReadBatchSize),也將一起傳遞,耗時較長。
現在更改參數,掃描到 1000 左右的命令就即時分發,需要設置如下參數:
-MaxCmdsInTran number_of_commands
注:該參數只能添加到日志讀取器代理中,在代理配置文件沒有此參數的設置。
添加後重啟 日志讀取器代理。
再次插入 30 萬的數據!~到監視器查看
可以看到,命令達到 1000 左右就進行分發了,此時查看訂閱數據庫,數據也同步過來了,這樣就省去了較多掃描命令的時間。
更詳細查看每個事務的命令數,如下:
SELECT top 10 A.xact_seqno,A.entry_time,COUNT(*) AS cmds FROM distribution.dbo.MSrepl_transactions A(NOLOCK) INNER JOIN distribution.dbo.MSrepl_commands B(NOLOCK) ON A.xact_seqno=B.xact_seqno GROUP BY A.xact_seqno,A.entry_time ORDER BY cmds DESC
這個參數雖好,但是也可能引起數據的一致性。
如:
在發布更新了一批數據,但是訂閱查詢時卻有不同。
分發事務遇到沖突或者死鎖,也導致這部分的數據不一致。
參考:復制日志讀取器代理