[Linux] 使用awk比较两个文件的内容-白红宇的个人博客

[Linux] 使用awk比较两个文件的内容

发布日期：2021-05-18 08:04:30 浏览次数：11 分类：精选文章

本文共 532 字，大约阅读时间需要 1 分钟。

当需要比较A、B两个文件时，其中A文件中的存在内容，同时将B文件中也存在的行去除，使用AWK脚本的方法可以实现。

AWK脚本伪代码为：

awk '{if(ARGIND==1) {val[$0]} else {if($0 in val) delete val[$0]}} END {for(i in val) print i}' A B

此方法利用AWK的数组功能，通过同时处理多文件的功能来实现数据清洗的逻辑。具体流程如下：

A　　 sounds(Filter案例：比较两个文件，清洗重复数据)>

A与B文件比较，获取A文件中有但B文件没有的数据，这个AWK脚本可以很好地完成。

AWK脚本主要逻辑：

1. 第一个文件（A）被作为数组初始化，数组键为行内容。

2. 第二个文件（B）被逐行扫描，检查是否存在于A文件中数组的键中，不存在则保留，存在则删除。

3. 最后打印数组中所有键的值，即为最终结果。

AWK脚本执行时，首先会读取文件A的内容，将其作为数组存储。然后读取文件B，逐行检查，如果找到数组中已有的记录，则将其从数组中删除。如果所有文件处理完毕，则将数组中的所有键依次输出。

这种处理方式效率较高，特别是处理大量数据时，能够快速清理重复或冗余的记录。

上一篇：[Go] 使用读写锁对map资源进行安全处理

下一篇：[Go]TCP服务中增加消息队列与工作池

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！