MySQL中刪除重復數據的簡單方法
更新時間：2015年05月30日 11:08:24 投稿：goldensun
這篇文章主要介紹了MySQL中刪除重復數據的簡單方法,比起一般的NOT IN語句的效率更為高,需要的朋友可以參考下
MYSQL里有五百萬數據，但大多是重復的，真實的就180萬，于是想怎樣把這些重復的數據搞出來，在網上找了一圈，好多是用NOT IN這樣的代碼，這樣效率很低，自己琢磨組合了一下，找到一個高效的處理方式，用這個方式，五百萬數據，十來分鐘就全部去除重復了，請各位參考。
第一步：從500萬數據表data_content_152里提取出不重復的字段SFZHM對應的ID字段到TMP3表
create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步：創(chuàng)建新表RES
CREATE TABLE `res` ( `id` int(11), `sfz` char(20) ) ENGINE=MyISAM;
第三步：把TMP3表ID對應到data_content_152里需要提取的數據添加到RES表的SFZ字段
INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此，就在MYSQL里實現了，給數據表data_content_152完全刪除重復數據，把去重復后的數據導入到RES表。
相關文章
MySQL利用profile分析慢sql詳解（group left join效率高于子查詢）
最近因為一個用了子查詢的sql語句查詢很慢，嚴重影響了性能，所以需要進行優(yōu)化，下面這篇文章主要跟大家介紹了關于MySQL利用profile分析慢sql的相關資料，文中介紹的非常詳細，需要的朋友們可以參考借鑒，下面來一起看看吧。2017-03-03
在MySQL數據庫中,IF 語句是一種常見的條件控制語句,本文介紹了 MySQL 中 IF 語句的基本用法以及實際應用場景,具有一定的參考價值,感興趣的可以了解一下2023-10-10
在本篇文章里小編給大家分享的是一篇關于清理Mysql general_log的相關知識點，需要的朋友們學習下。2019-10-10
這篇文章主要介紹了MySQL行級鎖、表級鎖、頁級鎖詳細介紹,同時列舉了一些實例說明,需要的朋友可以參考下2014-05-05
這篇文章主要介紹了MySQL中查詢日志與慢查詢日志的基本學習教程,文中還提到了MySQL自帶的Mysqldumpslow日志分析工具的使用,需要的朋友可以參考下2015-12-12
解決MySQL數據庫意外崩潰導致表數據文件損壞無法啟動的問題
這篇文章主要介紹了MySQL數據庫意外崩潰導致表數據文件損壞無法啟動的問題及解決方法，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
windows10+mysql8.0.11zip安裝教程詳解
這篇文章主要介紹了windows10+mysql8.0.11zip安裝教程詳解，本文給大家介紹的非常詳細，具有參考借鑒價值,需要的朋友可以參考下2018-05-05
這篇文章主要介紹了mysql序號rownum行號實現方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-12-12
Windows安裝MySQL8.0.28.0.msi方式(圖文詳解)
這篇文章主要介紹了Windows安裝MySQL8.0.28.0.msi,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-03-03
這篇文章主要為大家介紹了MYSQL表中某字段所有值大小寫轉換示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09