添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

在日常数据查询中,多有需要进行数据去重的查询,或删除重复数据的情况,以下罗列集中数据去重查询:

1、根据 全部字段 的去重查询:

select distinct * from table

2、根据 某些字段 的去重查询( 不考虑查询其他字段

select distinct c_name,c_year,c_month from table
select c_name,c_year,c_month from table 
group by c_name,c_year,c_month

3、根据 某些字段 的去重查询( 考虑查询其他字段

如果其他字段所有结果值都想保留,建议直接用group by 和group_concat即可

select c_name,c_year,c_month,group_concat(',') c_values from table
group by c_name,c_year,c_month

4、根据某些字段的去重查询,查询 重复项以外 的全部数据

一般去重是根据时间、ID等,如时间最新/ID最大/value最大等等;

此处 示例 重复数据中 ID小的是原始项 ID大的是重复项;

如果 要看新的数据,则将以下的 min 改为 max ,也可根据自身情况调整其他字段。

select * from tableA
where c_id in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month
select * from tableA
where c_id not in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month
having count(*)>1

5、根据某些字段的去重查询,查询重复项(不包含原始项,只查询重复项)

select * from tableA
where c_id not in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month

6、根据某些字段,查询出所有重复的数据(包含原始项和重复项

select * from tableA a
right join
(select c_name,c_year,c_month from table A
group by c_name,c_year,c_month
having count(*)>1) b
on a.c_name=b.c_name
and a.c_year=b.c_year
and a.c_month=b.c_month

7、根据某些字段,删除重复的数据(示例ID最小的是要保留的数据,其他都是不要的)

从思路上来讲,应该(实际上会出错):

delete from tableA
where c_id not in
(select min(c_id) minid from tableA
group by c_name,c_year,c_month

但是此时会报错: You can't specify target table for update in FROM clause

原因是:在同一张表,不能先查询某些值,再进行update操作

解决方法是:需要先把查询处理的id结果,as 一张表,再做delete操作,调整如下:

delete from tableA
where c_id in (
select * from
(select c_id from tableA
where c_id not in
(select min(c_id) from tableA
group by c_name,c_year,c_month
delete from tableA
where c_id in(
select * from (
select c_id from tableA
where c_id in
(select max(c_id) from tableA
group by c_name,c_year,c_month
having count(*)>1

以上就是几种去重的查询方法,可根据自身业务场景做调整。

在日常数据查询中,多有需要进行数据去重的查询,或删除重复数据的情况,以下罗列集中数据去重查询:1、根据全部字段的去重查询:select distinct * from table2、根据某些字段的去重查询(不考虑查询其他字段)select distinct c_name,c_year,c_month from table或者:select c_name,c_year,c_month from table group by c_name,c_year,c_month3、根据
一 distinct 含义:distinct用来查询不重复记录的条数,即distinct来返回不重复字段的条数(count(distinct id)),其原因是distinct只能返回他的目标字段,而无法返回其他字段 用法注意: 1.distinct【查询字段】,必须放在要查询字段的开头,即放在第一个参数; 2.只能在SELECT 语句中使用,不能在 INSERT, DELETE, UPDATE 中使用; 3.DISTINCT 表示对后面的所有参数的拼接取 不重复的记录,即查出的参数拼接每行记录都是唯一的 4.不能与all同时使用,默认情况下,查询时返回的就是所有的结果。 1.1只对一个字段
【中级】按照单个字段的重复去重 例如:对id字段去重 使用方法:获取id的重复字段的值,利用相同id字段所在的行中,比较出数据不同的字段,删除 除了最小(或最大)的字段所在的该行之外的所有重复的行。一般使用主键来比较,因为主键的值一定是唯一值,绝对不相同。 id name 1 a 1 b 2 c 2 a 3 c id name 1 a 2 a delete from a_tmp where id in (select 丿潇湘丶书笛: 额,问晕了,第五条是在检查有哪些重复的数据,并显示出来。提供个sql你试试看:with ta as (select 1 id,'11' na union all select 2 id,'11' na union all select 3 id,'11' na union all select 4 id,'11' na union all select 5 id,'55' na ) select * from ta where id not in (select min(id) minid from ta group by na) Mysql去重查询(根据指定字段去重) 不想脱发的野生小程: 有三条以上的重复数据,not in 最小的id其余的id还有两条以上,所以是会查重复的数据的。如果重复数据只有两条才适用