MySQL的線程池道理進修教程。本站提示廣大學習愛好者：（MySQL的線程池道理進修教程）文章只能為提供參考，不一定能成為您想要的結果。以下是MySQL的線程池道理進修教程正文
線程池是Mysql5.6的一個焦點功效，關於辦事器運用而言，不管是web運用辦事照樣DB辦事，高並發要求一直是一個繞不開的話題。當有年夜量要求並發拜訪時，必定隨同著資本的赓續創立和釋放，招致資本應用率低，下降了辦事質量。線程池是一種通用的技巧，經由過程事後創立必定數目的線程，當有要求到達時，線程池分派一個線程供給辦事，要求停止後，該線程又去辦事其他要求。 經由過程這類方法，防止了線程和內存對象的頻仍創立和釋放，下降了辦事真個並發度，削減了高低文切換和資本的競爭，進步資本應用效力。一切辦事的線程池實質都是位了進步資本應用效力，而且完成方法也年夜體雷同。本文重要解釋Mysql線程池的完成道理。
在Mysql5.6湧現之前，Mysql處置銜接的方法是One-Connection-Per-Thread,即關於每個數據庫銜接，Mysql-Server都邑創立一個自力的線程辦事，要求停止後，燒毀線程。再來一個銜接要求，則再創立一個銜接，停止後再停止燒毀。這類方法在高並發情形下，會招致線程的頻仍創立和釋放。固然，經由過程thread-cache，我們可以將線程緩存起來，以供下次應用，防止頻仍創立和釋放的成績，然則沒法處理高銜接數的成績。One-Connection-Per-Thread方法跟著銜接數暴增，招致須要創立異樣多的辦事線程，高並發線程意味著高的內存消費，更多的高低文切換(cpu cache射中率下降)和更多的資本競爭，招致辦事湧現發抖。絕對於One-Thread-Per-Connection方法，一個線程對應一個銜接，Thread-Pool完成方法中，線程處置的最小單元是statement(語句)，一個線程可以處置多個銜接的要求。如許，在包管充足應用硬件資本情形下(公道設置線程池年夜小)，可以免剎時銜接數暴增招致的辦事器發抖。
調劑方法完成
Mysql-Server同時支撐3種銜接治理方法，包含No-Threads，One-Thread-Per-Connection和Pool-Threads。No-Threads表現處置銜接應用主線程處置，不額定創立線程，這類方法重要用於調試；One-Thread-Per-Connection是線程池湧現之前最經常使用的方法，為每個銜接創立一個線程辦事；Pool-Threads則是本文所評論辯論的線程池方法。Mysql-Server經由過程一組函數指針來同時支撐3種銜接治理方法，關於特定的方法，將函數指針設置成特定的回調函數，銜接治理方法經由過程thread_handling參數掌握，代碼以下：
if (thread_handling <= SCHEDULER_ONE_THREAD_PER_CONNECTION)
one_thread_per_connection_scheduler(thread_scheduler,
&max_connections,
&connection_count);
else if (thread_handling == SCHEDULER_NO_THREADS)
one_thread_scheduler(thread_scheduler);
else
pool_of_threads_scheduler(thread_scheduler, &max_connections,&connection_count);
銜接治理流程
經由過程poll監聽mysql端口的銜接要求
收到銜接後，挪用accept接口，創立通訊socket
初始化thd實例，vio對象等
依據thread_handling方法設置，初始化thd實例的scheduler函數指針
挪用scheduler特定的add_connection函數新建銜接
上面代碼展現了scheduler_functions模板和線程池對模板回調函數的完成，這個是多種銜接治理的焦點。
struct scheduler_functions
{
uint max_threads;
uint *connection_count;
ulong *max_connections;
bool (*init)(void);
bool (*init_new_connection_thread)(void);
void (*add_connection)(THD *thd);
void (*thd_wait_begin)(THD *thd, int wait_type);
void (*thd_wait_end)(THD *thd);
void (*post_kill_notification)(THD *thd);
bool (*end_thread)(THD *thd, bool cache_thread);
void (*end)(void);
};
static scheduler_functions tp_scheduler_functions=
{
0,
// max_threads
NULL,
NULL,
tp_init,
// init
NULL,
// init_new_connection_thread
tp_add_connection,
// add_connection
tp_wait_begin,
// thd_wait_begin
tp_wait_end,
// thd_wait_end
tp_post_kill_notification,
// post_kill_notification
NULL,
// end_thread
tp_end
// end
};
線程池的相干參數
線程池完成
下面描寫了Mysql-Server若何治理銜接，這節重點描寫線程池的完成框架，和症結接口。如圖1
每個綠色的方框代表一個group，group數量由thread_pool_size參數決議。每一個group包括一個優先隊列和通俗隊列，包括一個listener線程和若干個任務線程，listener線程和worker線程可以靜態轉換，worker線程數量由任務負載決議，同時遭到thread_pool_oversubscribe設置影響。另外，全部線程池有一個timer線程監控group，避免group“停止”。
症結接口
1. tp_add_connection[處置新銜接]
1) 創立一個connection對象
2) 依據thread_id%group_count肯定connection分派到哪一個group
3) 將connection放進對應group的隊列
4) 假如以後活潑線程數為0，則創立一個任務線程
2. worker_main[任務線程]
1) 挪用get_event獲得要求
2) 假如存在要求，則挪用handle_event停止處置
3) 不然，表現隊列中曾經沒有要求，加入停止。
3. get_event[獲得要求]
1) 獲得一個銜接要求
2) 假如存在，則立刻前往，停止
3) 若此時group內沒有listener，則線程轉換為listener線程，壅塞期待
4) 若存在listener，則將線程參加期待隊列頭部
5) 線程休眠指定的時光(thread_pool_idle_timeout)
6) 假如仍然沒有被叫醒，是超時，則線程停止，停止加入
7) 不然，表現隊列裡有銜接要求到來，跳轉1
備注：獲得銜接要求前，會斷定以後的活潑線程數能否跨越了
thread_pool_oversubscribe+1，若跨越了，則將線程進入休眠狀況。
4. handle_event[處置要求]
1) 斷定銜接能否停止登錄驗證，若沒有，則停止登錄驗證
2) 聯系關系thd實例信息
3) 獲得收集數據包，剖析要求
4) 挪用do_command函數輪回處置要求
5) 獲得thd實例的套接字句柄，斷定句柄能否在epoll的監聽列表中
6) 若沒有，挪用epoll_ctl停止聯系關系
7) 停止
5.listener[監聽線程]
1) 挪用epoll_wait停止對group聯系關系的套接字監聽，壅塞期待
2) 若要求到來，從壅塞中恢復
3) 依據銜接的優先級別，肯定是放入通俗隊列照樣優先隊列
4) 斷定隊列中義務能否為空
5) 若隊列為空，則listener轉換為worker線程
6) 若group內沒有活潑線程，則叫醒一個線程
備注：這裡epoll_wait監聽group內一切銜接的套接字，然後將監聽到的銜接
要求push到隊列，worker線程從隊列中獲得義務，然後履行。
6. timer_thread[監控線程]
1) 若沒有listener線程，而且比來沒有io_event事宜
2) 則創立一個叫醒或創立一個任務線程
3) 若group比來一段時光沒有處置要求，而且隊列外面有要求，則
4) 表現group曾經stall，則叫醒或創立線程
5）檢討能否有銜接超時
備注：timer線程經由過程挪用check_stall斷定group能否處於stall狀況，經由過程挪用timeout_check檢討客戶端銜接能否超時。
7.tp_wait_begin[進入期待狀況流程]
1) active_thread_count減1，waiting_thread_count加1
2）設置connection->waiting= true
3) 若活潑線程數為0，而且義務隊列不為空，或許沒有監聽線程，則
4) 叫醒或創立一個線程
8.tp_wait_end[停止期待狀況流程]
1) 設置connection的waiting狀況為false
2) active_thread_count加1，waiting_thread_count減1
備注：
1)waiting_threads這個list外面的線程是余暇線程，並不是期待線程，所謂余暇線程是隨時可以處置義務的線程，而期待線程則是由於期待鎖，或期待io操作等沒法處置義務的線程。
2)tp_wait_begin和tp_wait_end的重要感化是因為報告請示狀況，即便更新active_thread_count和waiting_thread_count的信息。
9. tp_init/tp_end
分離挪用thread_group_init和thread_group_close來初始化和燒毀線程池
線程池與銜接池
銜接池平日完成在Client端，是指運用(客戶端)創立事後創立必定的銜接，應用這些銜接辦事於客戶端一切的DB要求。假如某一個時辰，余暇的銜接數小於DB的要求數，則須要將要求列隊，期待余暇銜接處置。經由過程銜接池可以復用銜接，防止銜接的頻仍創立和釋放，從而削減要求的均勻呼應時光，而且在要求忙碌時，經由過程要求列隊，可以緩沖運用對DB的沖擊。線程池完成在server端，經由過程創立必定數目的線程辦事DB要求，絕對於one-conection-per-thread的一個線程辦事一個銜接的方法，線程池辦事的最小單元是語句，即一個線程可以對應多個活潑的銜接。經由過程線程池，可以將server真個辦事線程數掌握在必定的規模，削減了體系資本的競爭和線程高低文切換帶來的消費，同時也防止湧現高銜接數招致的高並提問題。銜接池和線程池相反相成，經由過程銜接池可以削減銜接的創立和釋放，進步要求的均勻呼應時光，並能很好地掌握一個運用的DB銜接數，但沒法掌握全部運用集群的銜接數范圍，從而招致高銜接數，經由過程線程池則可以很好地應對高銜接數，包管server端能供給穩固的辦事。如圖2所示，每一個web-server端保護了3個銜接的銜接池，關於銜接池的每一個銜接現實不是獨有db-server的一個worker，而是能夠與其他銜接同享。這裡假定db-server只要3個group，每一個group只要一個worker，每一個worker處置了2個銜接的要求。
線程池優化
1.調劑逝世鎖處理
引入線程池處理了多線程高並發的成績，但也帶來一個隱患。假定，A，B兩個事務被分派到分歧的group中履行，A事務曾經開端，而且持有鎖，但因為A地點的group比擬忙碌，招致A履行一條語句後，不克不及立刻取得調劑履行；而B事務依附A事務釋放鎖資本，固然B事務可以被調劑起來，但因為沒法取得鎖資本，招致依然須要期待，這就是所謂的調劑逝世鎖。因為一個group會同時處置多個銜接，但多個銜接不是對等的。好比，有的銜接是第一次發送要求；而有的銜接對應的事務曾經開啟，而且持有了部門鎖資本。為了削減鎖資本爭用，後者明顯應當比前者優先處置，以到達盡早釋放鎖資本的目標。是以在group外面，可以添加一個優先級隊列，將曾經持有鎖的銜接，或許曾經開啟的事務的銜接提議的要求放入優先隊列，任務線程起首從優先隊列獲得義務履行。
2.年夜查詢處置
假定一種場景，某個group外面的銜接都是年夜查詢，那末group外面的任務線程數很快就會到達thread_pool_oversubscribe參數設置值，關於後續的銜接要求，則會呼應不實時(沒有更多的銜接來處置)，這時候候group就產生了stall。經由過程後面剖析曉得，timer線程會按期檢討這類情形，並創立一個新的worker線程來處置要求。假如長查詢起源於營業要求，則此時一切group都面對這類成績，此時主機能夠會因為負載過年夜，招致hang住的情形。這類情形線程池自己力所不及，由於泉源能夠是爛SQL並發，或許SQL沒有走對履行籌劃招致，經由過程其他辦法，好比SQL高下水位限流或許SQL過濾手腕可以應急處置。然則，還有別的一種情形，就是dump義務。許多下流依附於數據庫的原始數據，平日經由過程dump敕令將數據拉到下流，而這類dump義務平日都是耗時比擬長，所以也能夠以為是年夜查詢。假如dump義務集中在一個group內，並招致其他正常營業要求沒法立刻呼應，這個是不克不及容忍的，由於此時數據庫並沒有壓力，只是由於采取了線程池戰略，才招致了要求呼應不實時，為懂得決這個成績，我們將group中處置dump義務的線程不計入thread_pool_oversubscribe累計值，防止上述成績。
one-connection-per-thread
依據scheduler_functions的模板，我們也能夠列出one-connection-per-thread方法的幾個症結函數。
static scheduler_functions con_per_functions=
{ max_connection+1, // max_threads
NULL,
NULL,
NULL, // init
Init_new_connection_handler_thread, // init_new_connection_thread
create_thread_to_handle_connection, // add_connection
NULL, // thd_wait_begin
NULL, // thd_wait_end
NULL, // post_kill_notification
one_thread_per_connection_end, // end_thread
NULL // end
};
1.init_new_connection_handler_thread
這個接口比擬簡略，重要是挪用pthread_detach，將線程設置為detach狀況，線程停止後主動釋放一切資本。
2.create_thread_to_handle_connection
這個接口是處置新銜接的接口，關於線程池而言，會從thread_id%group_size對應的group中獲得一個線程來處置，而one-connection-per-thread方法則會斷定能否有thread_cache可使用，假如沒有則新建線程來處置。詳細邏輯以下：
(1).斷定緩存的線程數能否應用完(比擬blocked_pthread_count 和wake_pthread年夜小)
(2).若還有緩存線程，將thd參加waiting_thd_list的隊列，叫醒一個期待COND_thread_cache的線程
(3).若沒有，創立一個新的線程處置,線程的進口函數是do_handle_one_connection
(4).挪用add_global_thread參加thd數組。
3.do_handle_one_connection
這個接口被create_thread_to_handle_connection挪用，處置要求的重要完成接口。
(1).輪回挪用do_command，從socket中讀取收集包，而且解析履行；
(2). 當長途客戶端發送封閉銜接COMMAND(好比COM_QUIT，COM_SHUTDOWN)時，加入輪回
(3).挪用close_connection封閉銜接(thd->disconnect());
(4).挪用one_thread_per_connection_end函數,確認能否可以復用線程
(5).依據前往成果，肯定加入任務線程照樣持續輪回履行敕令。
4.one_thread_per_connection_end
斷定能否可以復用線程(thread_cache)的重要函數,邏輯以下：
(1).挪用remove_global_thread，移除線程對應的thd實例
(2).挪用block_until_new_connection斷定能否可以重用thread
(3).斷定緩存的線程能否跨越閥值，若沒有，則blocked_pthread_count++;
(4).壅塞期待前提變量COND_thread_cache
(5).被叫醒後，表現有新的thd須要重用線程，將thd從waiting_thd_list中移除，應用thd初始化線程的thd->thread_stack
(6).挪用add_global_thread參加thd數組。
(7).假如可以重用，前往false，不然前往ture
線程池與epoll
在引入線程池之前，server層只要一個監聽線程，擔任監聽mysql端口和當地unixsocket的要求，關於每一個新的銜接，都邑分派一個自力線程來處置，是以監聽線程的義務比擬輕松，mysql經由過程poll或select方法來完成IO的多路復用。引入線程池後，除server層的監聽線程，每一個group都有一個監聽線程擔任監聽group內的一切銜接socket的銜接要求，任務線程不擔任監聽，只處置要求。關於overscribe為1000的線程池設置，每一個監聽線程須要監聽1000個socket的要求，監聽線程采取epoll方法來完成監聽。
Select,poll,epoll都是IO多路復用機制，IO多路復用經由過程一種機制，可以監聽多個fd(描寫符)，好比socket，一旦某個fd停當(讀停當或寫停當)，可以或許告訴法式停止響應的讀寫操作。epoll絕對於select和poll有了很年夜的改良，起首epoll經由過程epoll_ctl函數注冊，注冊時，將一切fd拷貝進內核，只拷貝一次不須要反復拷貝，而每次挪用poll或select時，都須要將fd聚集從用戶空間拷貝到內核空間(epoll經由過程epoll_wait停止期待)；其次，epoll為每一個描寫符指定了一個回調函數，當裝備停當時，叫醒期待者，經由過程回調函數將描寫符參加到停當鏈表，無需像select，poll方法采取輪詢方法；最初select默許只支撐1024個fd，epoll則沒無限制，詳細數字可以參考cat /proc/sys/fs/file-max的設置。epoll貫串在線程池應用的進程中，上面我就epoll的創立，應用和燒毀性命周期來描寫epoll在線程中是若何應用的。
線程池初始化，epoll經由過程epoll_create函數創立epoll文件描寫符，完成函數是thread_group_init；
端口監聽線程監聽到要求後，創立socket，並創立THD和connection對象，放在對應的group隊列中；
任務線程獲得該connection對象時，若還未登錄，則停止登錄驗證
若socket還未注冊到epoll，則挪用epoll_ctl停止注冊,注冊方法是EPOLL_CTL_ADD，並將connection對象放入epoll_event構造體中
若是老銜接的要求，依然須要挪用epoll_ctl注冊，注冊方法是EPOLL_CTL_MOD
group內的監聽線程挪用epoll_wait來監聽注冊的fd，epoll是一種同步IO方法，所以會停止期待
要求到來時，獲得epoll_event構造體中的connection，放入到group中的隊列
線程池燒毀時，挪用thread_group_close將epoll封閉。
備注：
1.注冊在epoll的fd，若要求停當，則將對應的event放入到events數組，並將該fd的事務類型清空，是以關於老的銜接要求，仍然須要挪用epoll_ctl(pollfd, EPOLL_CTL_MOD, fd, &ev)來注冊。
線程池函數挪用關系
(1)創立epoll
tp_init->thread_group_init->tp_set_threadpool_size->io_poll_create->epoll_create
(2)封閉epoll
tp_end->thread_group_close->thread_group_destroy->close(pollfd)
(3)聯系關系socket描寫符
handle_event->start_io->io_poll_associate_fd->io_poll_start_read->epoll_ctl
(4)處置銜接要求
handle_event->threadpool_process_request->do_command->dispatch_command->mysql_parse->mysql_execute_command
(5)任務線程余暇時
worker_main->get_event->pthread_cond_timedwait
期待thread_pool_idle_timeout後，加入。
(6)監聽epoll
worker_main->get_event->listener->io_poll_wait->epoll_wait
(7)端口監聽線程
main->mysqld_main->handle_connections_sockets->poll
one-connection-per-thread函數挪用關系
(1) 任務線程期待要求
handle_one_connection->do_handle_one_connection->do_command-> my_net_read->net_read_packet->net_read_packet_header->net_read_raw_loop-> vio_read->vio_socket_io_wait->vio_io_wait->poll
備注：與線程池的任務線程有監聽線程贊助其監聽要求分歧，one-connection-per-thread方法的任務線程在余暇時，會挪用poll壅塞期待收集包過去；
而線程池的任務線程只須要專心處置要求便可，所以應用也更充足。
(2)端口監聽線程
與線程池的(7)雷同
