程式師世界 >> 數據庫知識 >> MYSQL數據庫 >> MySQL綜合教程 >> MySQL詳解（8）----------MySQL線程池總結(二)

MySQL詳解（8）----------MySQL線程池總結(二)

編輯：MySQL綜合教程

MySQL詳解（8）----------MySQL線程池總結(二)

這篇文章是對上篇文章的一個補充，主要圍繞以下兩點展開，one-connection-per-thread的實現方式以及線程池中epoll的使用。

one-connection-per-thread

根據scheduler_functions的模板，我們也可以列出one-connection-per-thread方式的幾個關鍵函數。

static scheduler_functions con_per_functions=

{ max_connection+1, // max_threads

NULL,

NULL,

NULL, // init

Init_new_connection_handler_thread, // init_new_connection_thread

create_thread_to_handle_connection, // add_connection

NULL, // thd_wait_begin

NULL, // thd_wait_end

NULL, // post_kill_notification

one_thread_per_connection_end, // end_thread

NULL // end

};

1.init_new_connection_handler_thread

這個接口比較簡單，主要是調用pthread_detach，將線程設置為detach狀態，線程結束後自動釋放所有資源。

2.create_thread_to_handle_connection

這個接口是處理新連接的接口，對於線程池而言，會從thread_id%group_size對應的group中獲取一個線程來處理，而one-connection-per-thread方式則會判斷是否有thread_cache可以使用，如果沒有則新建線程來處理。具體邏輯如下：

(1).判斷緩存的線程數是否使用完(比較blocked_pthread_count 和wake_pthread大小)

(2).若還有緩存線程，將thd加入waiting_thd_list的隊列，喚醒一個等待COND_thread_cache的線程

(3).若沒有，創建一個新的線程處理,線程的入口函數是do_handle_one_connection

(4).調用add_global_thread加入thd數組。

3.do_handle_one_connection

這個接口被create_thread_to_handle_connection調用，處理請求的主要實現接口。

(1).循環調用do_command，從socket中讀取網絡包，並且解析執行；

(2). 當遠程客戶端發送關閉連接COMMAND(比如COM_QUIT，COM_SHUTDOWN)時，退出循環

(3).調用close_connection關閉連接(thd->disconnect());

(4).調用one_thread_per_connection_end函數,確認是否可以復用線程

(5).根據返回結果，確定退出工作線程還是繼續循環執行命令。

4.one_thread_per_connection_end

判斷是否可以復用線程(thread_cache)的主要函數,邏輯如下：

(1).調用remove_global_thread，移除線程對應的thd實例

(2).調用block_until_new_connection判斷是否可以重用thread

(3).判斷緩存的線程是否超過閥值，若沒有，則blocked_pthread_count++;

(4).阻塞等待條件變量COND_thread_cache

(5).被喚醒後，表示有新的thd需要重用線程，將thd從waiting_thd_list中移除，使用thd初始化線程的thd->thread_stack

(6).調用add_global_thread加入thd數組。

(7).如果可以重用，返回false，否則返回ture

線程池與epoll

在引入線程池之前，server層只有一個監聽線程，負責監聽mysql端口和本地unixsocket的請求，對於每個新的連接，都會分配一個獨立線程來處理，因此監聽線程的任務比較輕松，mysql通過poll或select方式來實現IO的多路復用。引入線程池後，除了server層的監聽線程，每個group都有一個監聽線程負責監聽group內的所有連接socket的連接請求，工作線程不負責監聽，只處理請求。對於overscribe為1000的線程池設置，每個監聽線程需要監聽1000個socket的請求，監聽線程采用epoll方式來實現監聽。

Select,poll,epoll都是IO多路復用機制，IO多路復用通過一種機制，可以監聽多個fd(描述符)，比如socket，一旦某個fd就緒(讀就緒或寫就緒)，能夠通知程序進行相應的讀寫操作。epoll相對於select和poll有了很大的改進，首先epoll通過epoll_ctl函數注冊，注冊時，將所有fd拷貝進內核，只拷貝一次不需要重復拷貝，而每次調用poll或select時，都需要將fd集合從用戶空間拷貝到內核空間(epoll通過epoll_wait進行等待)；其次，epoll為每個描述符指定了一個回調函數，當設備就緒時，喚醒等待者，通過回調函數將描述符加入到就緒鏈表，無需像select，poll方式采用輪詢方式；最後select默認只支持1024個fd，epoll則沒有限制，具體數字可以參考cat /proc/sys/fs/file-max的設置。epoll貫穿在線程池使用的過程中，下面我就epoll的創建，使用和銷毀生命周期來描述epoll在線程中是如何使用的。

線程池初始化，epoll通過epoll_create函數創建epoll文件描述符，實現函數是thread_group_init；端口監聽線程監聽到請求後，創建socket，並創建THD和connection對象，放在對應的group隊列中；工作線程獲取該connection對象時，若還未登錄，則進行登錄驗證若socket還未注冊到epoll，則調用epoll_ctl進行注冊,注冊方式是EPOLL_CTL_ADD，並將connection對象放入epoll_event結構體中若是老連接的請求，仍然需要調用epoll_ctl注冊，注冊方式是EPOLL_CTL_MODgroup內的監聽線程調用epoll_wait來監聽注冊的fd，epoll是一種同步IO方式，所以會進行等待請求到來時，獲取epoll_event結構體中的connection，放入到group中的隊列線程池銷毀時，調用thread_group_close將epoll關閉。

備注：

1.注冊在epoll的fd，若請求就緒，則將對應的event放入到events數組，並將該fd的事務類型清空，因此對於老的連接請求，依然需要調用epoll_ctl(pollfd, EPOLL_CTL_MOD, fd, &ev)來注冊。