在葉子的文章裡談到了使用inner join 從而減少了對page的掃描也就是減少了所謂的回表 例如:
復制代碼 代碼如下:
SELECT * FROM `t1` INNER JOIN ( SELECT id FROM `t1`ORDER BY id DESC LIMIT 935500,10) t2 USING (id)
通過直接對id的操作 而不是整張表的掃描 通過id 的join 抓出符合條件id 然後通過ID 再去做數據的抓取。這樣就避免了對不需要的頁面的掃描。
不過這樣也不是最佳的方法 還可以通過對id 的 range更加縮小范圍 例如:
我們要分100條記錄分一頁 可以寫成
復制代碼 代碼如下:
$page_size=100 select * from t where id > 99 order by id asc limit $page_size ; select * from t where id >199 order by id asc limit $page_size;
盡量避免limit M,N 這種寫法 mysql在對M值很大 而offset很小的時候的處理方式很不人性化 ,所以盡量不要使用offset來取得特定行數。
在這裡有一個問題 比如根據不是唯一索引的column分頁 那麼可能存在一個問題,例如一個列column1存在11個key=100的值 那麼你使用limit N 之後取到的min value還是同一個值
這種情況如何處理? 給個例子:
比如要每10條記錄分一頁
復制代碼 代碼如下:
select * from t order by column1 desc limit 10
注意這裡取到的min value還是100 (11個連續的100) 對下面的分頁會產生影響,如何處理?
雅虎給出的方案非常好 取一個extra的column 例如PK 或者unique index key 例如:
復制代碼 代碼如下:
select * from t order by column1 desc, id desc limit 10 -- 第一個頁
select * from t where column1 <=minvalue_col1 and (id < minvalue_id or column1 < minvalue_col1) limit 10 ---第二個頁
這樣就確保了唯一性 保證了每頁的數據不會重復 思想就是通過add一個唯一的extra 取得這個extra的邊界值 結合range column來進行分頁。
這個SQL 還能被優化成:
復制代碼 代碼如下:
SELECT m2.* FROM t m1, t m2 WHERE m1.id = m2.id AND m1.column1 <= minvalue_col1
AND (m1.id < minvalue_id OR m1.column1 < minvalue_col1) ORDER BY m1.column1 DESC, m1.id DESC LIMIT 10;
核心思想: 通過extra過濾 配合ID掃描 避免大量的回表操作 這樣就達到了要取多少條 就掃描多少條 (in page)