PHP頁面有一個浏覽量統計每秒有200並發,造成insert給mysql造成很大壓力
lnmp環境,其他頁面內容都做了緩存了,沒有多大的負載,就是這個浏覽量統計功能,給mysql帶來不小的壓力,請問諸位有什麼解決辦法嗎?
怎麼都說不要用MySQL來做,每秒200並發對MySQL來說不算啥難事啊。而且換成Redis、Memcached,持久化姑且不說,業務代碼和運維部署量都不小。
我給你幾個建議,盡量讓你的運維部署和業務代碼改動小一些。
你可以做主從分離,不要在一個庫上高並發插入同時還做大量統計運算。分離之後,查詢在從庫是做(甚至是導入Hive之類專門的分布式系統來做),主庫上可以去掉索引,提升插入的性能。這個方法,業務代碼幾乎不用任何改動(改個數據庫配置文件就好了)。MySQL運維部署也可以選個業務低谷在線做。
如果你可以接受少量業務代碼(PHP)改動,還有兩個建議:
1. 分庫,分表,每個表的數據總量小了,操作起來性能會好一些,特別是對從庫的MyISAM表。你插入之前可能會有一些查詢,例如查詢這個IP在不在庫裡,以前統計過沒。
2. 使用HandlerSocket插件,繞過SQL Parser,直接操作存儲文件。如果業務上有可能,還可以使用bulk insert(批量插入)。MySQL InnoDB還推出了類似HandlerSocket的InnoDB NoSQL Plugin,用的memcached協議,共享InnoDB Buffer,再也不用操心MySQL和Memcached之前怎麼維護數據一致性了。