awk命令详解-转整理.doc

awk命令详解 （转 整理） 一、前言 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk。awk语言的最基本功能是在文件或字符串中基于指定规则来分解抽取信息，也可以基于指定的规则来输出数据。完整的awk脚本通常用来格式化文本文件中的信息。 二、基本语法 awk [opion] awk_script input_file1 [input_file2 ...] awk的常用选项option有： ① -F fs : 使用fs作为输入记录的字段分隔符，如果省略该选项，awk使用环境变量IFS的值 ② -f filename : 从文件filename中读取awk_script ③ -v var=value : 为awk_script设置变量 awk有三种运行方式： 第一种，把awk的脚本命令直接放在命令中。 第二种，把awk的所有的脚本命令放在一个脚本文件中，然后用-f选项来指定要运行的脚本命令文件。 第三种，将awk_script放入脚本文件并以 #!/bin/awk -f 作为首行，给予该脚本可执行权限，然后在shell下通过键入该脚本的脚本名调用之。 三、awk脚本 awk脚本可以由一条或多条awk_cmd组成，对于多个awk_cmd，一个awk_cmd完成后，应该另起一行，以便进行隔。 awk_cmd由两部分组成: awk_pattern { actions }。 另外，在awk命令中直接使用awk_script时，awk_script也可以被分成多行书写，但必须确保整个awk_script被单引号括起来。 awk命令的一般形式: awk BEGIN { actions } awk_pattern1 { actions } ............ awk_patternN { actions } END { actions } inputfile 其中 BEGIN { actions } 和 END { actions } 是可选的。 在awk脚本中可以使用AWK本身内置变量，如下： ARGC 命令行变元个数 ARGV 命令行变元数组 FILENAME 当前输入文件名 FNR 当前文件中的记录号 FS 输入域分隔符，默认为一个空格 RS 输入记录分隔符 NF 当前记录里域个数 NR 到目前为止记录数 OFS 输出域分隔符 ORS 输出记录分隔符 awk脚本的运行过程: ① 如果BEGIN 区块存在，awk执行它指定的actions。 ② awk从输入文件中读取一行，称为一条输入记录。(如果输入文件省略，将从标准输入读取) ③ awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量IFS或由参数指定。 ④ 把当前输入记录依次与每一个awk_cmd中awk_pattern比较，看是否匹配，如果相匹配，就执行对应的actions。如果不匹配，就跳过对应的actions，直到比较完所有的awk_cmd。 ⑤ 当一条输入记录比较了所有的awk_cmd后，awk读取输入的下一行，继续重复步骤③和④，这个过程一直持续，直到awk读取到文件尾。 ⑥ 当awk读完所有的输入行后，如果存在END，就执行相应的actions。 1)input_file可以是多于一个文件的文件列表，awk将按顺序处理列表中的每个文件。 2)一条awk_cmd的awk_pattern可以省略，省略时不对输入记录进行匹配比较就执行相应的actions。一条awk_cmd的actions 也可以省略，省略时默认的动作为打印当前输入记录,即{print $0} 。一条awk_cmd中的awk_pattern和actions不能同时省略。 3) BEGIN区块和END区块别位于awk_script的开头和结尾。awk_script中只有END区块或者只有BEGIN区块是被允许的。如果awk_script中只有BEGIN { actions } ，awk不会读取input_file。 4) awk把输入文件的数据读入内存，然后操作内存中的输入数据副本，awk不会修改输入文件的内容。 5) awk的总是输出到标准输出，如果想让awk输出到文件，可以使用重定向。 3.1.awk_pattern awk_pattern模式部分决定actions动作部分何时触发及触发actions。 awk_pattern可以是以下几种类型: 1) 正则表达式用作awk_pattern: /regexp/ 注意，正则表达式regexp必须被/包起来 awk中正则表达式匹配操作中经常用到的字符: \ ^ $ . [] | () * // ：通用的regexp元字符 + : 匹配其