在Linux系统中，处理重复数据是日常运维和数据分析中的常见需求，无论是日志文件去重、数据清洗还是文件系统空间优化，都需要高效的去重方法，本文将详细介绍Linux环境下不同场景下的去重复数据方法，涵盖文本行去重、字段去重、文件内容去重等,并结合常用命令和工具进行说明。
纯文本行去重（基础场景）
对于纯文本文件，去除重复行是最基础的需求，常用sort和uniq组合实现：sort进行排序，使重复行相邻，再通过uniq命令去除相邻重复行。sort file.txt | uniq > unique.txt可实现基本去重，若需保留原始顺序，可用awk命令：awk '!seen[$0]++' file.txt，其中seen数组记录已出现的行，仅输出未重复的行。uniq命令还支持-c选项统计重复次数（如uniq -c file.txt），-d选项仅显示重复行。
基于特定字段去重
当数据需按某列（字段）去重时，需结合sort的字段排序和uniq的字段跳过功能，按第2列去重，可执行sort -k2,2 file.txt | uniq -f1（-k2,2指定按第2列排序，-f1跳过第1列进行比较），复杂场景下，awk更灵活：按第1列去重并保留首次出现的行，可用awk '!a[$1]++ {print $1,$2}' file.txt，其中a[$1]记录第1列的值,确保仅处理首次出现的行。
重复文件查找与删除
文件系统层面的去重需使用专用工具。fdupes是轻量级重复文件查找工具，fdupes -r /path/to/dir递归目录查找重复文件，配合-d进入交互式删除模式。rdfind（duplicate finder）功能更强大，支持硬链接优化空间，如rdfind -output duplicates.txt /path/to/dir生成重复文件报告，-makehardlinks可将重复文件替换为硬链接节省空间。
工具对比与使用场景
不同工具适用于不同场景,具体对比如下：
| 工具名称 | 适用场景 | 常用选项 | 示例命令 |
|---|---|---|---|
| sort+uniq | 文本行去重（需排序） | -n（数字排序）、-k（按字段） | sort file.txt | uniq |
| awk | 保留顺序去重、字段去重 | !seen[$0]++（去重）、$1（字段） | awk ‘!a[$1]++’ file.txt |
| uniq | 相邻重复行处理 | -c（统计）、-d（只显示重复） | uniq -c file.txt |
| fdupes | 重复文件查找与删除 | -r（递归）、-d（删除） | fdupes -r /path -d |
| rdfind | 重复文件扫描与报告 | -output（输出结果）、-makehardlinks（硬链接） | rdfind -output dup.log /path |
注意事项
处理前务必备份重要数据，避免误删，大文件去重时，sort默认占用较多内存，可通过sort -S 1G限制内存使用，文件去重建议先扫描确认（如rdfind生成报告）,避免直接删除导致数据丢失。
FAQs
-
如何去除文件中重复的行并保持原始顺序？
答：使用awk命令，通过数组记录已出现的行，仅输出未重复的行。awk '!seen[$0]++' input.txt > output.txt，该命令无需排序，直接保留首次出现的行顺序,适合需维持原始顺序的场景。
-
查找到重复文件后，如何安全删除重复文件并保留其中一个副本？
答：使用fdupes的交互模式，运行fdupes -r /path/to/dir，会列出重复文件组，根据提示选择保留或删除，或用rdfind生成报告后，通过脚本处理：rdfind -output dup.log /path/to/dir，编辑dup.log，保留每组第一个文件，删除其余，执行xargs -a dup.log rm -f（需谨慎测试）。
原创文章，发布者：酷番叔，转转请注明出处：https://cloud.kd.cn/ask/34005.html
