AWK简介及使用实例

浏览:
字体:
发布时间:2013-12-09 23:23:20
来源:

AWK简介及使用方法

awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。
awk有3个不同版本: awk、nawk和gawk,未作特别说明,一般指gawk,gawk 是 AWK 的 GNU 版本。
awk其名称得自于它的创始人 Alfred Aho 、Peter Weinberger 和 Brian Kernighan 姓氏的首个字母。实际上 AWK 的确拥有自己的语言: AWK 程序设计语言 , 三位创建者已将它正式定义为“样式扫描和处理语言”。
它允许您创建简短的程序,这些程序读取输入文件、为数据排序、处理数据、对输入执行计算以及生成报表,还有无数其他的功能。
调用AWK的三种方法:
1.命令行方式
awk [-F field-separator] 'commands' input-file(s)
commands 是真正awk命令,[-F域分隔符]是可选的,默认空格。 input-file(s) 是待处理的文件
2.shell脚本方式
将所有的awk命令插入一个文件,并使awk程序可执行,然后awk命令解释器作为脚本的首行,通过键入脚本名称来调用。
相当于shell脚本首行的:#!/bin/sh换成:#!/bin/awk
3.将所有的awk命令插入一个单独文件,然后调用:
awk -f awk-script-file input-file(s) --f选项加载awk-script-file中的awk脚本,input-file(s)跟上面的是一样的。
##################################################################################################

awk内置变量

内置变量用来设置环境信息,这些变量可以被改变,下面给出了最常用的一些变量。
$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推。
ARGC 命令行参数个数
ARGV 命令行参数排列
ENVIRON 支持队列中系统环境变量的使用
FILENAME awk浏览的文件名
FNR 浏览文件的记录数
FS 设置输入域分隔符,等价于命令行 -F选项
NF 浏览记录的域的个数
NR 已读的记录数
OFS 输出域分隔符
ORS 输出记录分隔符
RS 控制记录分隔符
本篇实验数据如下: ---从ORACLE启动的ALERT日志中取的一部分
[oracle@bys3 ~]$ cat awktest.log --最后两行手动增加了:号,方便实验
MMAN started with pid=9, OS id=22862
DBW0 started with pid=10, OS id=22866
LGWR started with pid=11, OS id=22870
CKPT started with pid=12, OS id=22874
SMON:started with pid=13, OS id=22878
RECO:started with pid=14, OS id=22882

说明---把个人觉得常用的写了出来,关于AWK每个参数的没写,可以看DAVE的博客:http://blog.csdn.net/tianlesoftware/article/details/6278273
##################################################################################################

输出格式化及文件合并、行列转换等

awk中同时提供了print和printf两种打印输出的函数:
其中print函数的参数可以是变量、数值或者字符串。字符串必须用双引号引用,参数用逗号分隔。如果没有逗号,参数就串联在一起而无法区分。这里,逗号的作用与输出文件的分隔符的作用是一样的,只是后者是空格而已。
printf函数,其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时,printf更加好用,代码更易懂。
使用内置变量显示输入文件名,行号,列号,行的具体内容--filename如果是通过|管道传来的数据,filename显示为-
[oracle@bys3 ~]$ awk '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' awktest.log
filename:awktest.log,linenumber:1,columns:6,linecontent:MMAN started with pid=9, OS id=22862 --只显示一行,后面行省略了
每2列转换成一行
[oracle@bys3 ~]$ awk '{if (NR%2==0){print $0} else {printf"%s ",$0}}' awktest.log
MMAN started with pid=9, OS id=22862 DBW0 started with pid=10, OS id=22866
每3行提取一行:
[oracle@bys3 ~]$ awk '(NR%3==0){print $0}' awktest.log
LGWR started with pid=11, OS id=22870
RECO:started with pid=14, OS id=22882
文件的合并及拆分
[oracle@bys3 ~]$ cat awktest.log >awkt
[oracle@bys3 ~]$ awk '{print FILENAME,$0}' awktest.log awkt >a.log --合并awktest.log awkt到a.log
[oracle@bys3 ~]$ cat a.log --截取了部分
awktest.log MMAN started with pid=9, OS id=22862
awktest.log DBW0 started with pid=10, OS id=22866
awkt MMAN started with pid=9, OS id=22862
awkt DBW0 started with pid=10, OS id=22866
[oracle@bys3 ~]$ rm -rf awkt*
将上一步合并后的文件,拆分为合并前的两个文件。依照a.log第一列来产生新文件名
[oracle@bys3 ~]$ awk '$1!=fd{close(fd);fd=$1} {print substr($0,index($0," ")+1)>$1}' a.log
[oracle@bys3 ~]$ cat awkt
MMAN started with pid=9, OS id=22862
DBW0 started with pid=10, OS id=22866
LGWR started with pid=11, OS id=22870
CKPT started with pid=12, OS id=22874
SMON:started with pid=13, OS id=22878
RECO:started with pid=14, OS id=22882
[oracle@bys3 ~]$ cat awktest.log --和cat awkt内容一样
##################################################################################################

分隔符的使用示例:默认是空格或tab分隔

[oracle@bys3 ~]$ cat awktest.log |awk '{print $5}' --使用默认分割符
OS
OS
OS
OS
id=22878
id=22882
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '{print $4" #@# "$5"/t"$9}' --同时使用四个分隔符:, = : 空格 ;显示第4、5、9个域,域之间用指定的符号分隔
pid #@# 9 22862
pid #@# 10 22866
pid #@# 11 22870
pid #@# 12 22874
pid #@# 13 22878
pid #@# 14 22882
##################################################################################################

同时使用'BEGIN END

BEGIN:让用户指定在第一条输入记录被处理之前所发生的动作,通常可在这里设置全局变量。
END:让用户在最后一条输入记录被读取之后发生的动作。
awk工作流程是这样的:先执行BEGING,然后读取文件,读入有/n换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完,最后执行END操作。
我这里就是在BEGIN: END:时,显示点字符,BEGIN/END可以只使用一个
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' 'BEGIN {print "header-a#@#bb ospid"} {print $4"#@#"$5"/t"$9} END {print "Hello everone,my name is leifeng!"}'
header-a#@#bb ospid
pid#@#9 22862
pid#@#10 22866
pid#@#11 22870
pid#@#12 22874
pid#@#13 22878
pid#@#14 22882
Hello everone,my name is leifeng!
##################################################################################################

过滤显示需要的行:

首先使用'/MMAN/'过滤出包含MMAN的行,再传入另一个AWK进行运行,/n换行,/t相当于TAB
[oracle@bys3 ~]$ cat awktest.log |awk -F '[,= :]' '/MMAN/' |awk -F'[,= :]' '{print $9"/n"$1"/t"$0}'
22862
MMAN MMAN started with pid=9, OS id=22862
可以简化为:
[oracle@bys3 ~]$ cat awktest.log |awk -F '[,= :]' '/MMAN/{print $9"/n"$1"/t"$0}' --显示行中有MMAN
22862
MMAN MMAN started with pid=9, OS id=22862
显示LGWR开头的行到CKPT开头的行--如果CKPT开头的行后还有LGWR开头的行,则继续显示到下一个CKPT开头的行,如果不存在下一个CKPT开头的行,则显示到文件结尾
[oracle@bys3 ~]$ cat awktest.log |awk '/^LGWR/,/^CKPT/'
LGWR started with pid=11, OS id=22870
CKPT started with pid=12, OS id=22874
[oracle@bys3 ~]$ cat awktest.log |awk '/^LGWR/,/^CKPq/' --没有CKPq开头的行,一直显示到文件结尾
LGWR started with pid=11, OS id=22870
CKPT started with pid=12, OS id=22874
SMON:started with pid=13, OS id=22878
RECO:started with pid=14, OS id=22882
##################################################################################################

比较运算:可以做大于等于小与及加减除除运算

[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '{print $5}'
9
10
11
12
13
14
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5>12 {print $5}'
13
14
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5==10 {print $5 "#/t#" $0}'
10# #DBW0 started with pid=10, OS id=22866
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5<10 {print $5 "/t" $0}'
9 MMAN started with pid=9, OS id=22862
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5<10 {print$5*9 "/t" $0}' ---$5*9 显示为9*9 --81
81 MMAN started with pid=9, OS id=22862
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5<10 {print $5/9 "/t" $0}' ---$5/9 9/9 --1
1 MMAN started with pid=9, OS id=22862
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5<10 {print $5 "/t" $9}'
9 22862
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5*$9<220000 {print $5*$9 "###" $5 "/t" $9}' --$5*$9<220000 显示$5*$9小于22W的行,截取此行的$5 $9
205758###9 22862
##################################################################################################

使用正则表达式部分匹配字符示例:

查找开头是MM的行
[oracle@bys3 ~]$ cat awktest.log |awk '/^MM/'
MMAN started with pid=9, OS id=22862
查找开头是MM或D或L的行
[oracle@bys3 ~]$ cat awktest.log |awk '/^(MM|D|L)/'
MMAN started with pid=9, OS id=22862
DBW0 started with pid=10, OS id=22866
LGWR started with pid=11, OS id=22870
查找开关是字母M D L的行
[oracle@bys3 ~]$ cat awktest.log |awk '/^[MDL]/'
MMAN started with pid=9, OS id=22862
DBW0 started with pid=10, OS id=22866
LGWR started with pid=11, OS id=22870
查找指定域中后两位是数字,且数字分别是0-9 和0-2的 ~在这表示从结尾算
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5 ~/[0-9][0-2]$/{print $5}'
10
11
12
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5 ~/[3-4]$/{print $5}' --查找结尾字母是3-4的
13
14
##################################################################################################

正则逻辑式逻辑运算符:大于小于不等于 及 和&& 或|| 运算

[oracle@bys3 ~]$ cat awktest.log
MMAN started with pid=9, OS id=22862
DBW0 started with pid=10, OS id=22866
LGWR started with pid=11, OS id=22870
CKPT started with pid=12, OS id=22874
SMON:started with pid=13, OS id=22878
RECO:started with pid=14, OS id=22882
显示$5==10||$9>22880 $5等于10或者$9>22880的行
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5==10||$9>22880 {print $5"/t" $9}'
10 22866
14 22882
显示$5>10&&$9>22880 $5大于10并且$9>22880的行
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5>10&&$9>22880 {print $5"/t" $9}'
14 22882
显示$5!=10 $5!=11 不等于10并且不等于11的行
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '$5!=10&&$5!=11 {print $5"/t" $9}'
9 22862
12 22874
13 22878
14 22882
如果print ($5 > 12 ? 这里如果判断$5 > 12是否为真,真则显示冒号前的值,如果不为真,则显示冒号后值
[oracle@bys3 ~]$ cat awktest.log |awk -F'[,= :]' '{print ($5 > 12 ? "ok /t"$5: "error/t"$5)}'
error 9
error 10
error 11
error 12
ok 13
ok 14

>更多相关文章
24小时热门资讯
24小时回复排行
资讯 | QQ | 安全 | 编程 | 数据库 | 系统 | 网络 | 考试 | 站长 | 关于东联 | 安全雇佣 | 搞笑视频大全 | 微信学院 | 视频课程 |
关于我们 | 联系我们 | 广告服务 | 免责申明 | 作品发布 | 网站地图 | 官方微博 | 技术培训
Copyright © 2007 - 2024 Vm888.Com. All Rights Reserved
粤公网安备 44060402001498号 粤ICP备19097316号 请遵循相关法律法规
');})();