Oracle数据库4种去重技术(DISTINCT关键字、ROW_NUMBER() OVER()函数、GROUP BY子句以及LISTAGG聚合函数)实现方法详解

在Oracle数据库日常开发与运维中，数据去重是最基础也最核心的操作之一，涵盖了从查询结果集去重、物理删除重复数据到分组字符串拼接去重等多个场景。不同去重技术的适用场景、性能表现和实现逻辑差异显著，选错方法不仅会导致结果错误，还可能引发严重的性能问题。本文将系统解析DISTINCT关键字、ROW_NUMBER() OVER()窗口函数、GROUP BY子句以及LISTAGG聚合函数这4种核心去重技术的实现方法与注意事项。

一、DISTINCT关键字：结果集去重的基础方案

1. 核心语法：SELECT DISTINCT column1, column2 FROM table_name WHERE conditions;，作用于SELECT后所有选定字段的组合，对最终结果集进行全列比对，移除内容完全一致的冗余行。

2. 执行机制：在SQL标准执行流程中，DISTINCT操作发生在WHERE过滤、GROUP BY分组之后，ORDER BY排序之前，基于已计算完成的结果集进行去重，而非原始表数据。

3. 适用场景：适合简单查询结果去重、前端接口输出、报表展示等仅需获取唯一值组合的场景，例如获取所有不重复的用户登录IP组合。

4. 注意事项：DISTINCT是对字段组合的整体唯一性判断，而非单列去重；大数据量下DISTINCT会触发全量排序，性能开销较大；无法控制保留哪一条重复记录，仅保留随机一条。

二、ROW_NUMBER() OVER()窗口函数：精准控制保留记录的进阶方案

1. 核心语法：ROW_NUMBER() OVER(PARTITION BY 分组字段 ORDER BY 排序字段) AS rn，为每个分组内的行分配从1开始的连续序号，外层查询通过WHERE rn = 1即可保留每组唯一记录。

2. 核心优势：可精准控制重复数据中保留哪一条，例如保留创建时间最新、ID最大的记录，这是DISTINCT和GROUP BY无法实现的。

3. 典型应用：用户同一天多条订单仅保留最新一条、同一设备多条日志仅保留最后上报记录、无主键表通过ROWID标记删除冗余数据。

4. 注意事项：PARTITION BY的分组字段需与业务去重维度完全一致；ORDER BY决定了保留记录的优先级，需根据业务需求选择升序或降序；该函数仅支持查询去重，若要物理删除重复数据，需配合DELETE语句和子查询使用。

三、GROUP BY子句：分组聚合去重的经典方案

1. 核心语法：SELECT column1, MAX(column2), MIN(column3) FROM table_name GROUP BY column1;，通过指定分组字段将数据聚合，每组仅返回一行结果，天然实现去重。

2. 扩展能力：配合HAVING子句可快速定位重复数据，例如SELECT column1, COUNT(*) FROM table_name GROUP BY column1 HAVING COUNT(*) > 1;可直接查出所有存在重复的记录及重复次数。

3. 适用场景：适合需要同时获取去重结果和聚合统计值的场景，例如统计每个部门的最高薪资、获取每个用户的第一次登录时间。

4. 注意事项：SELECT后所有非聚合字段都必须出现在GROUP BY子句中，否则会触发ORA-00979错误；无法直接保留完整行数据，仅能返回分组字段和聚合函数计算结果；多列组合去重时需在GROUP BY中列出所有相关字段。

四、LISTAGG聚合函数：分组字符串拼接去重的专用方案

1. 核心语法：LISTAGG(column_name, delimiter) WITHIN GROUP (ORDER BY sort_column)，用于将分组内的多行字符串拼接为单个分隔字符串。

2. 去重实现：Oracle 19c及以上版本原生支持LISTAGG(DISTINCT column_name, delimiter)语法，可直接在函数内去重；19c以下版本需在子查询中先通过SELECT DISTINCT或ROW_NUMBER()预去重，再对外层结果执行LISTAGG聚合。

3. 溢出处理：12.2及以上版本支持ON OVERFLOW TRUNCATE子句，当拼接结果超出VARCHAR2长度限制时可自动截断并附加省略号与计数，避免触发ORA-01489错误。

4. 注意事项：拼接结果在SQL中默认受VARCHAR2 4000字节长度限制，超长场景可改用XMLAGG返回CLOB类型突破限制；聚合前需通过ORDER BY明确拼接顺序，否则结果不可预测；LISTAGG会自动忽略NULL值，若需保留空值标记需提前用NVL函数转换。

四种去重技术各有侧重：DISTINCT适合简单结果集去重，语法最简洁但无法控制保留记录；ROW_NUMBER()适合需要精准选择保留项的复杂场景，灵活性最高；GROUP BY适合需要同时获取聚合统计值的分组去重；LISTAGG则是分组字符串拼接去重的专用工具，需注意版本兼容性和长度溢出问题。在实际开发中，应优先根据业务需求选择对应技术：仅需唯一值用DISTINCT，需保留特定记录用ROW_NUMBER()，需聚合统计用GROUP BY，需字符串拼接用LISTAGG。对于超大数据量的去重场景，建议提前创建对应索引，避免全表扫描和排序带来的性能瓶颈，同时在执行物理删除重复数据操作前务必备份，防止误删关键数据。

声明：所有来源为“聚合数据”的内容信息，未经本网许可，不得转载！如对内容有异议或投诉，请与我们联系。邮箱：marketing@think-land.com