高並發經常會發生在有大活躍用戶量,用戶高聚集的業務場景中,如:秒殺活動,定時領取紅包等。
為了讓業務可以流暢的運行並且給用戶一個好的交互體驗,我們需要根據業務場景預估達到的並發量等因素,來設計適合自己業務場景的高並發處理方案。
在電商相關產品開發的這些年,我有幸的遇到了並發下的各種坑,這一路摸爬滾打過來有著不少的血淚史,這裡進行的總結,作為自己的歸檔記錄,同時分享給大家。
業務從發展的初期到逐漸成熟,服務器架構也是從相對單一到集群,再到分布式服務。
一個可以支持高並發的服務少不了好的服務器架構,需要有均衡負載,數據庫需要主從集群,nosql緩存需要主從集群,靜態文件需要上傳cdn,這些都是能讓業務程序流暢運行的強大後盾。
服務器這塊多是需要運維人員來配合搭建,具體我就不多說了,點到為止。
大致需要用到的服務器架構如下:
高並發相關的業務,需要進行並發的測試,通過大量的數據分析評估出整個架構可以支撐的並發量。
測試高並發可以使用第三方服務器或者自己測試服務器,利用測試工具進行並發請求測試,分析測試數據得到可以支撐並發數量的評估,這個可以作為一個預警參考,俗話說知己自彼百戰不殆。
第三方服務:
並發測試工具:
日用戶流量大,但是比較分散,偶爾會有用戶高聚的情況;
場景: 用戶簽到,用戶中心,用戶訂單,等
服務器架構圖:
說明:
場景中的這些業務基本是用戶進入APP後會操作到的,除了活動日(618,雙11,等),這些業務的用戶量都不會高聚集,同時這些業務相關的表都是 大數據表,業務多是查詢操作,所以我們需要減少用戶直接命中DB的查詢;優先查詢緩存,如果緩存不存在,再進行DB查詢,將查詢結果緩存起來。
更新用戶相關緩存需要分布式存儲,比如使用用戶ID進行hash分組,把用戶分布到不同的緩存中,這樣一個緩存集合的總量不會很大,不會影響查詢效率。
方案如:
注意
這裡會有並發情況下的邏輯問題,如:一天簽到多次,發放多次積分給用戶。注意
公用的緩存數據需要考慮並發下的可能會導致大量命中DB查詢,可以使用管理後台更新緩存,或者DB查詢的鎖住操作。以上例子是一個相對簡單的高並發架構,並發量不是很高的情況可以很好的支撐,但是隨著業務的壯大,用戶並發量增加,我們的架構也會進行不斷的優 化和演變,比如對業務進行服務化,每個服務有自己的並發架構,自己的均衡服務器,分布式數據庫,nosql主從集群,如:用戶服務、訂單服務;
秒殺、秒搶等活動業務,用戶在瞬間湧入產生高並發請求
場景:定時領取紅包,等
服務器架構圖:
說明:
場景中的定時領取是一個高並發的業務,像秒殺活動用戶會在到點的時間湧入,DB瞬間就接受到一記暴擊,hold不住就會宕機,然後影響整個業務;
像這種不是只有查詢的操作並且會有高並發的插入或者更新數據的業務,前面提到的通用方案就無法支撐,並發的時候都是直接命中DB;
設計這塊業務的時候就會使用消息隊列的,可以將參與用戶的信息添加到消息隊列中,然後再寫個多線程程序去消耗隊列,給隊列中的用戶發放紅包;
方案如:
附加:
通過消息隊列可以做很多的服務。
如:定時短信發送服務,使用sset(sorted set),發送時間戳作為排序依據,短信數據隊列根據時間升序,然後寫個程序定時循環去讀取sset隊列中的第一條,當前時間是否超過發送時間,如果超過就進行短信發送。
高並發請求連接緩存服務器超出服務器能夠接收的請求連接量,部分用戶出現建立連接超時無法讀取到數據的問題;
因此需要有個方案當高並發時候時候可以減少命中緩存服務器;
這時候就出現了一級緩存的方案,一級緩存就是使用站點服務器緩存去存儲數據,注意只存儲部分請求量大的數據,並且緩存的數據量要控制,不能過分的使 用站點服務器的內存而影響了站點應用程序的正常運行,一級緩存需要設置秒單位的過期時間,具體時間根據業務場景設定,目的是當有高並發請求的時候可以讓數 據的獲取命中到一級緩存,而不用連接緩存nosql數據服務器,減少nosql數據服務器的壓力
比如APP首屏商品數據接口,這些數據是公共的不會針對用戶自定義,而且這些數據不會頻繁的更新,像這種接口的請求量比較大就可以加入一級緩存;
服務器架構圖:
合理的規范和使用nosql緩存數據庫,根據業務拆分緩存數據庫的集群,這樣基本可以很好支持業務,一級緩存畢竟是使用站點服務器緩存所以還是要善用。
高並發請求數據不變化的情況下如果可以不請求自己的服務器獲取數據那就可以減少服務器的資源壓力。
對於更新頻繁度不高,並且數據允許短時間內的延遲,可以通過數據靜態化成JSON,XML,HTML等數據文件上傳CDN,在拉取數據的時候優先到 CDN拉取,如果沒有獲取到數據再從緩存,數據庫中獲取,當管理人員操作後台編輯數據再重新生成靜態文件上傳同步到CDN,這樣在高並發的時候可以使數據 的獲取命中在CDN服務器上。
CDN節點同步有一定的延遲性,所以找一個靠譜的CDN服務器商也很重要
減少服務器壓力:資源、帶寬