c/c++通用內存洩漏檢測框架GMFD(General Memory Fault Detection Framework

1 背景：
x86平台有完善的用戶態檢測內存工具比如valgrind等，可以監控程序運行中詳細的內存信息，從而精確定位內存問題。然而隨著新平台的快速誕生比如Tilera的TilePro64 CPU)，這些工具不能被及時地移植，導致新平台缺乏相應的手段來定位內存錯誤，如內存越界，洩漏等，而只能使用粗粒度的方法top，free 等指令觀察進程的動態內存總額。其缺點是粒度太粗，而且內存的總數變化有很多原因引起，在復雜的系統裡，很難精確定位內存問題的根源，甚至會漏報錯報，這嚴重影響了新平台如Tilera)開發與測試的效率。針對這個問題，我們提出了一個通用的新平台針對c/c++內存錯誤檢測框架。
該框架可適用於任何平台。其通過重寫標准庫的內存分配和釋放函數如malloc, new, new[], free,delete,delete[]等）, 以及維護一個全局的內存分配map數據結構實現。重寫後的內存分配比如my_malloc首先調用系統malloc功能，然後記錄每一次malloc執行過程中的內存操作信息包括文件名、行號以及內存尺寸，函數調用棧），以指針值為 key值，存進維護的全局map表。而重寫的my_free則是根據傳入的指針值在 map 中查找相應的數據項並將之刪除，而後調用系統的free 將指針所指向的內存塊釋放。這樣當程序退出的時候，map 中的剩余的數據項就是我們期望檢測的內存洩漏信息。我們可以輸出洩漏內存塊的詳細日志，比如文件名，行號等等。這將大大提高類似Tilera平台的內存問題追查效率，提高開發和測試的速度和質量。
2 基本原理：
1) 通過重寫非共享內存分配釋放函數malloc, new, new[]，free,delete,delete[]截獲 它們在執行過程中的內存操作信息。重載形式如下：
※ void* malloc( size_t nSize, char* pszFileName, int nLineNum )
※ void* new( size_t nSize, char* pszFileName, int nLineNum )
※ void* operator new[]( size_t nSize, char* pszFileName, int nLineNum )
※ void free( void *ptr )
※ void delete( void *ptr )
※ void operator delete[]( void *ptr )

2) 通過重寫共享內存分配釋放函數mspace_malloc，mspace_free，重寫形式如下：

※ void* my_mspace_malloc( mspace msp,unsigned int Size, char* pszFileName, int nLineNum )
※ void my_mspace_free(mspace msp, void *ptr )

3) 我們對malloc, new, new[]，mspace_malloc進行了重載，參數包括size_t nSize、文件名和行號，這裡的文件名和行號就是這次malloc, new, new[]，mspace_malloc操作符被調用時所在的文件名和行號，這個信息將在發現內存洩漏時輸出，以幫助定位洩漏具體位置。對於 free,delete,delete[]，mspace_free參數為指針地址。
3 實例：
以My_malloc, My_free為例，重寫函數結構如下：
 

1. 在重寫的my_malloc函數版本中，我們將調用malloc 的原始版本並將相應的 size_t 參數傳入，然後，我們將malloc的原始版本返回的指針值以及該次分配所在的文件名和行號信息記錄下來，這裡采用STL 的 map數據結構存儲，以指針值為 key 值，文件名，行號等信息作為一個結構體是value值。
My_free重寫函數結構如下：
 

2. 當my_free 被調用時，我們根據傳入的指針值在 map 中找到相應的數據項並將之刪除，而後調用 free 將指針所指向的內存塊釋放。這樣當程序退出的時候，map 中的剩余的數據項就是我們企圖檢測的內存洩漏信息。
4 實現關鍵點：
1) 如何取得內存分配代碼所在的文件名和行號？
利用 C 的預編譯宏 __FILE__ 和 __LINE__，這兩個宏將在編譯時在指定位置展開為該文件的文件名和該行的行號
2) 利用宏定義開關決定走普通分支還是內存檢測分支？
#if defined( MEM_DEBUG )
#define malloc DEBUG_MALLOC
#define free DEBUG_FREE
#endif
3) 何時創建用於存儲內存數據的 map 數據結構，如何管理，何時打印內存洩漏信息？
設計一個類來封裝這個 map 以及對它的插入刪除操作，然後構造這個類的一個全局對象appMemory），在全局對象appMemory）的構造函數中創建並初始化這個數據結 構，而在其析構函數中對數據結構中剩余數據進行分析和輸出。new 中將調用這個全局對象的 insert 接口將指針、文件名、行號、內存塊大小等信息以指針值為 key 記錄到 map 中，在delete 中調用 erase 接口將對應指針值的 map 中的數據項刪除，同時對 map 的訪問需要進行互斥同步，因為同一時間可能會有多個進程進行堆上的內存操作。
4) 如何為非共享內存申請map？如何為共享內存申請map？
非共享內存的map,對於多進程則有多個map，可按3）的方法處理。而對於共享內存，可能A進程申請到B進程才釋放，但是每個進程一個map,我們去掃描這些每個map時就會出現誤報的現象，因此需要采取將map放入共享內存方法：我們申請一塊共享內存區域為map,這個map對各進程是共享的。當程序中各進程調用共享內存時，將各進程分配的指針及文件名行號等詳細信息存進這共享的map。程序結束時，掃描該共享的map,就能得到未釋放的信息。將 map放入共享內存使用c++標准庫時需要我們自己實現一個基於共享內存的allocator，替換map默認的allocator，在這個allocator中實現map的內存分配方案。也可以使用boost庫1.35以上版本），它增加了一個叫做boost::interprocess的庫，具體可參考http://blog.cong.co/stl-alloc.html
5) 如何使用該工具？
內存洩露檢測框架提供接口libmemck.h，內容如下

在被測試程序裡包含如下代碼即可使用
 

6) 何時如何捕獲信號，生成leak文件？
定義一個全局的類得對象，在該類得構造函數裡通過signal函數捕獲SIGINT、SIGABRT、SIGFPE、SIGTERM信號，當捕獲到這些信號其中之一時，開始掃描map並將map剩余信息寫入leak文件展示。
7) 對臨界資源的控制？
共享內存的各進程共享的map，各進程間進行讀寫操作需要加鎖，我們這裡采用的是信號燈實現。
非共享內存各個進程對應的map，在各進程進行插入刪除操作時也需要加鎖實現
8) 程序中malloc作為函數指針？
由於將原型malloc(size)重寫為my_malloc(size，__FILE__,__LINE__),這樣由於函數類型不一致，導致程序調用該工具時編譯無法通過，真對這種情況的解決辦法為：重寫malloc(size)為my_malloc_p(size)這樣除了文件名和行號無法得知外，洩露的多少內存可以報出。

本文出自 “百度技術博客” 博客，請務必保留此出處http://baidutech.blog.51cto.com/4114344/743278