NR - Number of Record - 當(dāng)前處理的行是第幾行(因為awk是流處理工具,,一行一行處理的,所以NR在不停的自增1)
FNR - File Number of Record - 當(dāng)前處理的行是當(dāng)前處理文件的第幾行 NF - Number of Fileds - 當(dāng)前行有多少列數(shù)據(jù)(這個在每行都會根據(jù)設(shè)定的分割符重新計算,,默認分割符是任務(wù)長個空白符) (NR==FNR) 大致等效于 (ARGIND==1) , 前者就是說當(dāng)然處理的總行數(shù)跟文件內(nèi)行數(shù)相等,,而這種情況一般來說都是在第一個文件上,,而ARGIND==1是參數(shù)位置第1的文件時生效,。<也有可能前面的文件是空的,,那么NR==FNR就生效于第一個非空文件,這就是跟ARGIND==1的明顯區(qū)別> # 每行后面增加一行空行 awk '1;{print ""}'
awk 'BEGIN{ORS="\n\n"};1'
# 每行后面增加一行空行,。輸出文件不會包含連續(xù)的兩個或兩個以上的空行
# 注意:在Unix系統(tǒng),, DOS行包括的 CRLF (\r\n)通常會被作為非空行對待
# 因此 'NF' 將會返回TRUE。
awk 'NF{print $0 "\n"}'
# 每行后面增加兩行空行
awk '1;{print "\n"}'
編號和計算:
# 以文件為單位,,在每句行前加上編號 (左對齊)
# 使用制表符 (\t)來代替空格可以有效保護頁變的空白,。
awk '{print FNR "\t" $0}' files*
# 用制表符 (\t)給所有文件加上連貫的編號。
awk '{print NR "\t" $0}' files*
# 以文件為單位,,在每句行前加上編號 (編號在左,,右對齊)
# 如果在DOS環(huán)境下,需要寫兩個'%'
awk '{printf("%5d : %s\n", NR,$0)}'
# 給非空白行的行加上編號
# 記得Unix對于 \r 的處理的特殊之處,。(上面已經(jīng)提到)
awk 'NF{$0=++a " :" $0};{print}'
awk '{print (NF? ++a " :" :"") $0}'
# 計算行數(shù) (模擬 "wc -l")
awk 'END{print NR}'
# 計算每行每個區(qū)域之和
awk '{s=0; for (i=1; i<=NF; i++) s=s+$i; print s}'
# 計算所有行所有區(qū)域的總和
awk '{for (i=1; i<=NF; i++) s=s+$i}; END{print s}'
# 打印每行每區(qū)域的絕對值
awk '{for (i=1; i<=NF; i++) if ($i < 0) $i = -$i; print }'
awk '{for (i=1; i<=NF; i++) $i = ($i < 0) ? -$i : $i; print }'
# 計算所有行所有區(qū)域(詞)的個數(shù)
awk '{ total = total + NF }; END {print total}' file
# 打印包含 "Beth" 的行數(shù)
awk '/Beth/{n++}; END {print n+0}' file
# 打印第一列最大的行
# 并且在行前打印出這個最大的數(shù)
awk '$1 > max {max=$1; maxline=$0}; END{ print max, maxline}'
# 打印每行的列數(shù),,并在后面跟上此行內(nèi)容
awk '{ print NF ":" $0 } '
# 打印每行的最后一列
awk '{ print $NF }'
# 打印最后一行的最后一列
awk '{ field = $NF }; END{ print field }'
# 打印列數(shù)超過4的行
awk 'NF > 4'
# 打印最后一列大于4的行
awk '$NF > 4'
構(gòu)建字符串:
# 構(gòu)建一指定長度的字符串(比如,513個空格)
awk 'BEGIN{while (a++<513) s=s " "; print s}'
# 在某一位置中插入以特定長度的字符串
# 例子:在每行第6列后插入49個空格
gawk --re-interval 'BEGIN{while(a++<49)s=s " "};{sub(/^.{6}/,"&" s)};1'
構(gòu)建數(shù)組:
# 以下兩個部分并不是一句話腳本,,但是這些技巧相當(dāng)便捷所以也包括進來
# 構(gòu)建一個叫"month"的數(shù)組,,以數(shù)字為索引,month[1]就是'Jan',,month[2]就是
# 'Feb',,month[3]就是'Mar',以此類推,。
split("Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec", month, " ")
# 構(gòu)建一個叫"mdigit"的數(shù)組,,以字符串為索引,mdigit["Jan"] 等于 1,,
# mdigit["Feb"] 等于 2,,等等。需要有"month"數(shù)組,。
for (i=1; i<=12; i++) m_digit[month[i]] = i
文本轉(zhuǎn)換和替代:
# 在Unix環(huán)境:轉(zhuǎn)換DOS新行 (CR/LF) 為Unix格式
awk '{sub(/\r$/,"")};1' # 假設(shè)每行都以Ctrl-M結(jié)尾
# 在Unix環(huán)境:轉(zhuǎn)換Unix新行 (LF) 為DOS格式
awk '{sub(/$/,"\r")};1'
# 在DOS環(huán)境:轉(zhuǎn)換Unix新行 (LF) 為DOS格式
awk 1
# 在DOS環(huán)境:轉(zhuǎn)換DOS新行 (CR/LF) 為Unix格式
# DOS版本的awk不能運行, 只能用gawk:
gawk -v BINMODE="w" '1' infile >outfile
# 用 "tr" 替代的方法,。
tr -d \r <infile >outfile # GNU tr 版本為 1.22 或者更高
# 刪除每行前的空白(包括空格符和制表符)
# 使所有文本左對齊
awk '{sub(/^[ \t]+/, "")};1'
# 刪除每行結(jié)尾的空白(包括空格符和制表符)
awk '{sub(/[ \t]+$/, "")};1'
# 刪除每行開頭和結(jié)尾的所有空白(包括空格符和制表符)
awk '{gsub(/^[ \t]+|[ \t]+$/,"")};1'
awk '{$1=$1};1' # 每列之間的空白也被刪除
# 在每一行開頭處插入5個空格(做整頁的左位移)
awk '{sub(/^/, " ")};1'
# 用79個字符為寬度,將全部文本右對齊
awk '{printf "%79s\n", $0}' file*
# 用79個字符為寬度,,將全部文本居中對齊
awk '{l=length();s=int((79-l)/2); printf "%"(s+l)"s\n",$0}' file*
# 每行用 "bar" 查找替換 "foo"
awk '{sub(/foo/,"bar")}; 1' # 僅僅替換第一個找到的"foo"
gawk '{$0=gensub(/foo/,"bar",4)}; 1' # 僅僅替換第四個找到的"foo"
awk '{gsub(/foo/,"bar")}; 1' # 全部替換
# 在包含 "baz" 的行里,,將 "foo" 替換為 "bar"
awk '/baz/{gsub(/foo/, "bar")}; 1'
# 在不包含 "baz" 的行里,將 "foo" 替換為 "bar"
awk '!/baz/{gsub(/foo/, "bar")}; 1'
# 將 "scarlet" 或者 "ruby" 或者 "puce" 替換為 "red"
awk '{gsub(/scarlet|ruby|puce/, "red")}; 1'
# 倒排文本 (模擬 "tac")
awk '{a[i++]=$0} END {for (j=i-1; j>=0;) print a[j--] }' file*
# 如果一行結(jié)尾為反斜線符,,將下一行接到這行后面
# (如果有連續(xù)多行后面帶反斜線符,,將會失敗)
awk '/\\$/ {sub(/\\$/,""); getline t; print $0 t; next}; 1' file*
# 排序并打印所有登錄用戶的姓名
awk -F ":" '{ print $1 | "sort" }' /etc/passwd
# 以相反的順序打印出每行的前兩列
awk '{print $2, $1}' file
# 調(diào)換前兩列的位置
awk '{temp = $1; $1 = $2; $2 = temp}' file
# 打印每行,,并刪除第二列
awk '{ $2 = ""; print }'
# 倒置每行并打印
awk '{for (i=NF; i>0; i--) printf("%s ",i);printf ("\n")}' file
# 用逗號鏈接每5行
awk 'ORS=NR%5?",":"\n"' file
選擇性的打印某些行:
# 打印文件的前十行 (模擬 "head")
awk 'NR < 11'
# 打印文件的第一行 (模擬 "head -1")
awk 'NR>1{exit};1'
# 打印文件的最后兩行 (模擬 "tail -2")
awk '{y=x "\n" $0; x=$0};END{print y}'
# 打印文件的最后一行 (模擬 "tail -1")
awk 'END{print}'
# 打印匹配正則表達式的行 (模擬 "grep")
awk '/regex/'
# 打印不匹配正則表達式的行 (模擬 "grep -v")
awk '!/regex/'
# 打印第5列等于"abc123"的行
awk '$5 == "abc123"'
# 打印第5列不等于"abc123"的行
# 這個同樣可以用于打印少于5列的行
awk '$5 != "abc123"'
awk '!($5 == "abc123")'
# 用正則匹配某一列
awk '$7 ~ /^[a-f]/' # 打印第7列匹配的行
awk '$7 !~ /^[a-f]/' # 打印第7列不匹配的行
# 打印匹配正則表達式的前一行,,但是不打印當(dāng)前行
awk '/regex/{print x};{x=$0}'
awk '/regex/{print (x=="" ? "match on line 1" : x)};{x=$0}'
# 打印匹配正則表達式的后一行,但是不打印當(dāng)前行
awk '/regex/{getline;print}'
# 以任何順序查找包含 AAA,、BBB 和 CCC 的行
awk '/AAA/; /BBB/; /CCC/'
# 以指定順序查找包含 AAA,、BBB 和 CCC 的行
awk '/AAA.*BBB.*CCC/'
# 打印長度大于64個字節(jié)的行
awk 'length > 64'
# 打印長度小于64個字節(jié)的行
awk 'length < 64'
# 打印從匹配正則起到文件末尾的內(nèi)容
awk '/regex/,0'
awk '/regex/,EOF'
# 打印指定行之間的內(nèi)容 (8-12行, 包括第8和第12行)
awk 'NR==8,NR==12'
# 打印第52行
awk 'NR==52'
awk 'NR==52 {print;exit}' # 對于大文件更有效率
# 打印兩個正則匹配間的內(nèi)容 (包括正則的內(nèi)容)
awk '/Iowa/,/Montana/' # 大小寫敏感
選擇性的刪除某些行:
# 刪除所有空白行 (類似于 "grep '.' ")
awk NF
awk '/./'
# 刪除重復(fù)連續(xù)的行 (模擬 "uniq")
awk 'a !~ $0; {a=$0}'
# 刪除重復(fù)的,、非連續(xù)的行
awk '! a[$0]++' # 最簡練
awk '!($0 in a) {a[$0];print}' # 最有效
|
|
來自: 灬蘋果樹下灬 > 《UNIX/Linux》