[[344631]]

作者個人研發的在高并發場景下，提供的簡單、穩定、可擴展的延遲消息隊列框架，具有精準的定時任務和延遲隊列處理功能。自開源半年多以來，已成功為十幾家中小型企業提供了精準定時調度方案，經受住了生產環境的考驗。為使更多童鞋受益，現給出開源框架地址：

https://github.com/sunshinelyz/mykit-delay

寫在前面

最近，有小伙伴出去面試，面試官問了這樣的一個問題：如何查詢和刪除MySQL中重復的記錄?相信對于這樣一個問題，有不少小伙伴會一臉茫然。那么，我們如何來完美的回答這個問題呢?今天，我們就一起來探討下這個經典的MySQL面試題。

問題分析

對于標題中的問題，有兩種理解。第一種理解為將標題的問題拆分為兩個問題，分別為：如何查詢MySQL中的重復記錄?如何刪除MySQL中的重復記錄?另一種理解為：如何查詢并刪除MySQL中的重復記錄?

沒關系，不管怎么理解，我們今天都要搞定它!!

為了小伙伴們更好的理解如何在實際工作中解決遇到的類似問題。這里，我就不簡單的回答標題的問題了，而是以SQL語句來實現各種場景下，查詢和刪除MySQL數據庫中的重復記錄。

問題解決

查找重復記錄

1、查找全部重復記錄

select * from 表 where 重復字段 in (select 重復字段 from 表 group by 重復字段 having count(*)>1) 

2、過濾重復記錄(只顯示一條)

select * from HZT Where ID In (select max(ID) from HZT group by Title) 

注：此處顯示ID最大一條記錄。

刪除重復記錄

1、刪除全部重復記錄(慎用)

delete 表 where 重復字段 in (select 重復字段 from 表 group by 重復字段 having count(*)>1) 

2、保留一條(這個應該是大多數人所需要的 ^_^)

delete HZT where ID not In (select max(ID) from HZT group by Title) 

注：此處保留ID最大一條記錄。

三、舉例

1、查找表中多余的重復記錄，重復記錄是根據單個字段(peopleId)來判斷

select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) 

2、刪除表中多余的重復記錄，重復記錄是根據單個字段(peopleId)來判斷，只留有rowid最小的記錄

delete from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1) 

3、查找表中多余的重復記錄(多個字段)

select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) 

4、刪除表中多余的重復記錄(多個字段)，只留有rowid最小的記錄

delete from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1) 

5、查找表中多余的重復記錄(多個字段)，不包含rowid最小的記錄

select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1) 

四、補充

有兩個以上的重復記錄，一是完全重復的記錄，也即所有字段均重復的記錄，二是部分關鍵字段重復的記錄，比如Name字段重復，而其他字段不一定重復或都重復可以忽略。

1、對于第一種重復，比較容易解決，使用

select distinct * from tableName 

就可以得到無重復記錄的結果集。

如果該表需要刪除重復的記錄(重復記錄保留1條)，可以按以下方法刪除

select distinct * into #Tmp from tableName 
drop table tableName 
select * into tableName from #Tmp 
drop table #Tmp 

發生這種重復的原因是表設計不周產生的，增加唯一索引列即可解決。

2、這類重復問題通常要求保留重復記錄中的第一條記錄，操作方法如下 。

假設有重復的字段為Name,Address，要求得到這兩個字段唯一的結果集

select identity(int,1,1) as autoID, * into #Tmp from tableName 
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID 
select * from #Tmp where autoID in(select autoID from #tmp2) 

本文轉載自微信公眾號「冰河技術 」，可以通過以下二維碼關注。轉載本文請聯系冰河技術公眾號。