
linux下uniq命令
发布日期:2025-04-07 14:45:36
浏览次数:7
分类:精选文章
本文共 1002 字,大约阅读时间需要 3 分钟。
Linux中的`uniq`命令用于过滤重复的行,去除重复的记录或统计行重复次数,是一款非常实用的文本处理工具。
**basic usage**
默认情况下,`uniq`命令会将输入文件中的相邻重复行舍去。如果希望显式地排序并去重,可以先使用`sort`命令对输入进行排序,然后再通过`uniq`命令去重。
**关键选项说明**
`-c`:在输出行前面添加每行在输入文件中出现的次数,适用于统计重复行出现的频率。
`-d`:仅显示重复的行,如果希望只输出重复内容而不显示唯一行,可以使用此选项。
`-D`:与`-d`相反,显示所有重复的行,但不影响唯一行的输出。
`-f`:用于跳过指定的字段数,适用于处理包含多个字段的文件。
`-i`:忽略大小写比较,默认情况下`uniq`命令对行的比较是区分大小写的,这一选项可以忽略这一限制。
`-s`:忽略文件开头的指定字符数,可以用来处理带有注释或其他不必要前缀的文件。
`-u`:只显示重复的行,和`-d`的效果类似。
`-z`:指定行的分隔符为`\0`,默认为使用`换行符`分隔行。
`-w`:比较行的前N个字符,用于快速对比长文件中的重复项。
**常用示例**
1. **统计重复行数量**
[$ ~]# cat uniq.txt | sort | uniq -c2 apple2 banana2 cat2 dog2 orange2 water
2. **忽略大小写比较**
[$ ~]# cat uniq.txt uniq2.txt | sort | uniq -ci2 apple2 banana2 cat2 dog2 orange2 water mem
3. **忽略前缀处理**
[$ ~]# sort | uniq -s.)
**注意事项**
- 在使用`uniq`命令时,数据输出的顺序与输入数据排序后的顺序一致。建议在使用`uniq`之前对数据进行排序才能确保正确的去重结果。- 如果输入数据中存在大量重复项,可以通过`sort`和`uniq`的组合命令有效地提取唯一记录。- 不要在未排序的情况下直接使用`uniq`命令去重,否则会导致未按实际顺序去除重复项。通过合理搭配`uniq`命令的各种选项,可以根据具体需求满足不同的文本处理需求,从只显示重复记录到统计重复次数再到去掉注释前缀等,`uniq`都能应对而不没mediocre表现。
发表评论
最新留言
路过,博主的博客真漂亮。。
[***.116.15.85]2025年05月10日 02时00分47秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Linux3 在VMware中搭建CentOS6.5虚拟机
2023-02-02
Linux5
2023-02-02
Linux7/Centos7新特性之链路聚合
2023-02-02
LINUX7下安装kaldi实战
2023-02-02
linux8 redis集群槽+docker
2023-02-02
linuxcbt-dhcpd
2023-02-02
Linux[crontab命令]–管理定时任务
2023-02-02
Linux[find命令]-根据路径和条件搜索指定文件并删除
2023-02-02
linux_DNS
2023-02-02
Linux_服务器_01_查看公网IP
2023-02-02
Linux——gcc编译器
2023-02-02
Linux——gdb调试
2023-02-02
Linux——Makefile和文件时间
2023-02-02
Linux——vim编辑器
2023-02-02
Linux——vi命令详解
2023-02-02
Linux——入门命令
2023-02-02
Linux——共享内存
2023-02-02