Awk这件上古神兵你会用了吗

AWK诞生于1977的贝尔实验室，是由 Alfred Aho，Peter Weinberger和Brian Kernighan三位大神开发，AWK的命名是由三位作者的Family Name的首字母组成。

三位大神开发AWK的初衷是为了方便快速的处理文本及数据信息，在当年那个即没有python也没有go的年代，这是一个很酷也很有意义的事情；不过话说回来，即便是现在有了Python跟Go，AWK在日常线上运维方面仍然占据一席之地，而且几乎不可替代。

如果你对AWK还是不甚了解，那么希望通过这篇博文，能够让各位做个简单入门，如果这篇文章还能提起你学习AWK的兴趣就更好了。

AWK的程序一般都很短，但并不是说AWK写不出逻辑复杂的程序。AWK像你学过的其它语言一样，支持变量自定义，数组结构，for循环等等，同时也支持自定义函数。

假设我们打算处理一个在线商店的后台日志，内容如下:

python基础教程 山治 34.50 5
python高级教程 索隆 40.00 6
python实战 娜美 38 3
java编程思想 弗兰克 48.00 6
Vue教程 javascript小组 55.00 8
awk基础教程 路飞 42 3

第一列为书名，第二列为作者，第三列为价格，第四列为当日销售数量。我们将该文件命名为awk_books.log。接下来我们将通过一些实际的案例需求来学习AWK

找出价格大于40的书籍

awk '$3>40 {print $0}' awk_books.log

输出：

$ awk '$3>40 {print $0}' awk_books.log
java编程思想 弗兰克 48.00 6
Vue教程 javascript小组 55.00 8
awk基础教程 路飞 42 3

解释
awk的意思是告诉操作系统我要执行awk程序，请做好准备。单引号里面的内容为具体的程序逻辑。awk_books.log为要处理的文件。

写awk的程序其实很简单，因为是有固定套路的。套路就是 'pattern {action}',pattern称为模式，action称为动作。

awk会自动读入要处理文件的每一行内容，依次用pattern去匹配，如果匹配成功，则执行action。对于上面的例子，pattern为$3>40,action为{print $0}。

注意: pattern跟action不必同时存在，后面我会有例子给大家解释什么意思。

到此为止，对于上面的小例子，除了$3和$0你还不理解以外，其它应该都了解了。

awk会将输入的每一行按照空白字符进行分隔，因此分隔之后的第一列就是$1,第二列就是$2,以此类推，我们的例子中书价在第三列，自然就是$3,变量$0则代表整行记录。

如果要处理的文本内容不是按照空白字符分隔怎么办？你可以这样处理。

echo "hello-world" | awk 'BEGIN{FS="-"} {print $1}'

输出的结果都为hello

FS为awk的内置变量，表示输入列的分隔符，默认为空白符。上面的例子中我们将FS的默认值设置成我们希望的样子，也就是-。除了FS以外,跟分隔符相关的内置变量还有输出列分隔符OFS，输入行分隔符RS,输出行分隔符ORS。我就不依依举例展示了。

BEGIN表示的意思是AWK程序开始执行之前执行BEGIN关键字之后的语句，而且只执行一次，所以经常用来初始化变量或者文件头。除了BEGIN，还有END，我后面还会有样列介绍，大家不要着急。

好了,这里先做个简单的小结，然后继续出发。
1.我们知道了如何在命令行终端调用AWK程序。
2.知道了AWK程序的固定套路为 'pattern {action}' 格式
3.了解了内置变量$0,$1,以及FS的作用。

接下来通过一些具体的样例继续学习。

打印出每一行最后一列

awk '{print $NF}' awk_books.log

输出结果：

$ awk '{print $NF}' awk_books.log
5
6
3
6
8
3

这个例子中，明显没有pattern 而只有action。AWK中如果没有pattern,则默认匹配所有行。而NF为AWK的内置变量，表示每一行有多少列。所以$NF自然就代表着最后一列的输出内容。基于这个例子，你可以尝试着打印出每一行的倒数第二列内容，代码如下：

awk '{print $(NF-1) }' awk_books.log

只打印出第二行内容

awk 'NR == 2' awk_books.log

输出结果：

$ awk 'NR == 2' awk_books.log
python高级教程 索隆 40.00 6

这个例子明显没有action只有pattern，如果没有写action则执行默认action，默认的action就是打印匹配的行内容。NR也是内置变量，表示AWK已经读取的行数。

打印每一行的内容及行号

awk '{print NR,$0}' awk_books.log

输出结果：

$ awk '{print NR,$0}' awk_books.log
1 python基础教程 山治 34.50 5
2 python高级教程 索隆 40.00 6
3 python实战 娜美 38 3
4 java编程思想 弗兰克 48.00 6
5 Vue教程 javascript小组 55.00 8
6 awk基础教程 路飞 42 3

print里面用逗号分隔要打印的多个内容，输出的时候逗号会被空格替代。

更好的输出
接上面的例子，我们让输出结果更易读一些。

awk 'BEGIN{print"编号    书名    作者 价格 销量"; print""} {print NR,$0} END{print"";print "输出结束!"}' awk_books.log

输出结果

$ awk 'BEGIN{print"编号    书名    作者 价格 销量"; print""} {print NR,$0} END{print"";print "输出结束!"}' awk_books.log
编号    书名    作者 价格 销量

1 python基础教程 山治 34.50 5
2 python高级教程 索隆 40.00 6
3 python实战 娜美 38 3
4 java编程思想 弗兰克 48.00 6
5 Vue教程 javascript小组 55.00 8
6 awk基础教程 路飞 42 3

输出结束!

BEGIN,在前面已经提到了过了，这里是为了加深一下大家的理解。BEGIN和END后面跟随的语句都只执行一次，即在程序的开头和结束。

打印包含Java的行

awk '/java/ {print $0}' awk_books.log

输出结果：

$ awk '/java/ {print $0}' awk_books.log
java编程思想 弗兰克 48.00 6
Vue教程 javascript小组 55.00 8

这个样例的匹配模式是个正则表达式，只要有匹配的内容就会输出对应的行。你可以根据业务需求写出更复杂的正则表达式。

打印第一列包含java的行

awk '$1 ~/java/ {print $0}' awk_books.log

输出结果:

$ awk '$1 ~/java/ {print $0}' awk_books.log
java编程思想 弗兰克 48.00 6

打印第一列不包含Java的行

awk '$1 !~/java/ {print $0}' awk_books.log

输出结果:

$ awk '$1 !~/java/ {print $0}' awk_books.log
python基础教程 山治 34.50 5
python高级教程 索隆 40.00 6
python实战 娜美 38 3
Vue教程 javascript小组 55.00 8
awk基础教程 路飞 42 3

统计输入文本的总行数

awk 'END {print NR}' awk_books.log

输出结果：

$ awk 'END {print NR}' awk_books.log
6

输出字符数超过33的行

awk 'length($0)> 33' awk_books.log

输出结果:

$ awk 'length($0)> 33' awk_books.log
java编程思想 弗兰克 48.00 6
Vue教程 javascript小组 55.00 8

length为内置函数，此外还有很多内置函数，不在此一一列举了，感兴趣的可以去查。

输出价格最高的行

awk '$3>max {max = $3; maxline=$0} END {print max,maxline}' awk_books.log

输出结果：

$ awk '$3>max {max = $3; maxline=$0} END {print max,maxline}' awk_books.log
55.00 Vue教程 javascript小组 55.00 8

这里max及maxline为自定义变量，AWK里面的变量不用事先声明，直接用就OK，默认值为空或者0。

计算当天销售总价并输出

awk '{total += $3*$4} END { print total}' awk_books.log

输出结果：

$ awk '{total += $3*$4} END { print total}' awk_books.log
1380.5

找出所有Python的书目，然后按照价格排序

awk '$1 ~/python/ {print $0}' awk_books.log|sort -n -k 3 -t ' '

输出结果：

$ awk '$1 ~/python/ {print $0}' awk_books.log|sort -n -k 3 -t ' '
python基础教程 山治 34.50 5
python实战 娜美 38 3
python高级教程 索隆 40.00 6

找出所有Python的书目，按照价格排序，并输出价格最高的两条

awk '$1 ~/python/ {print $0}' awk_books.log|sort -r -n -k 3 -t ' '|head -n 2

输出结果：

$ awk '$1 ~/python/ {print $0}' awk_books.log|sort -r -n -k 3 -t ' '|head -n 2
python高级教程 索隆 40.00 6
python实战 娜美 38 3

最后两个列子借住了sort和head,不了解两个指令的可以去查一下，这里不做过多的介绍了。

好了，以上这些AWK知识应该够各位应付日常的工作需求了。如果还不够怎么办呢？去买两本书，继续深入学啊！

---

推荐阅读：
作为一个程序员，你应该知道的编码知识
Shell编程里面的奇葩字符
Javaer运维指令合集(快餐版)