一張千萬級別數據的表想做分頁,如何優化?
介紹
當進行分頁時,MySQL 并不是跳過 offset 行,而是取 offset+N 行,然后放棄前 offset 行,返回 N 行。例如 limit 10000, 20。mysql排序取出10020條數據后,僅返回20條數據,查詢和排序的代價都很高。那當 offset 特別大的時候,效率就非常的低下,所以我們要對sql進行改寫
使用書簽
用書簽記錄上次取數據的位置,過濾掉部分數據
如下面語句
- SELECT id, name, description FROM film ORDER BY name LIMIT 1000, 10;
可以改為
- SELECT id, name, description FROM film WHERE name > 'begin' ORDER BY name LIMIT 10;
name為上次分頁后的最大值,注意這種場景只適用于不存在重復值的場景。
延遲關聯
延遲關聯:通過使用覆蓋索引查詢返回需要的主鍵,再根據主鍵關聯原表獲得需要的數據
- SELECT id, name, description FROM film ORDER BY name LIMIT 100,5;
id是主鍵值,name上面有索引。這樣每次查詢的時候,會先從name索引列上找到id值,然后回表,查詢到所有的數據。可以看到有很多回表其實是沒有必要的。完全可以先從name索引上找到id(注意只查詢id是不會回表的,因為非聚集索引上包含的值為索引列值和主鍵值,相當于從索引上能拿到所有的列值,就沒必要再回表了),然后再關聯一次表,獲取所有的數據
因此可以改為
- SELECT film.id, name, description FROM film
- JOIN (SELECT id from film ORDER BY name LIMIT 100,5) temp
- ON film.id = temp.id
倒序查詢
假如查詢倒數最后一頁,offset可能回非常大
- SELECT id, name, description FROM film ORDER BY name LIMIT 100000, 10;
改成倒序分頁,效率是不是快多了?
- SELECT id, name, description FROM film ORDER BY name DESC LIMIT 10;
本文轉載自微信公眾號「Java識堂」,可以通過以下二維碼關注。轉載本文請聯系Java識堂公眾號。