注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

慵懒的乌龟

——若有,且珍惜~

 
 
 

日志

 
 

shell工具——cut、tr、grep、sort、uniq、re、sed、awk  

2011-08-19 10:37:19|  分类: 技术类 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

本篇我们将详细描述
sehll中经常用到的一些程序(也称命令、工具)。当然,其中会参插很多前面讲过的。
Shell脚本中经常用到的工具有cuttrgrepsortuniqresedawk等。Re不是一个程序,我们认为他是shell中一个重量级的工具。对这些工具的使用越精通,编写shell脚本解决问题就越容易!re/sed/awkshell中最难的一部分内容(至少笔者这么认为),在我的其他文章中专门对他们进行过讨论,所以这里将不做介绍。
 
一、cut
       如果要从数据文件或者命令的输出中截取(也就是剪出)各种各样的数据域,cut命令都会派上用场,命令的一般格式为
cut –cchars file
其中,chars指定想从文件的每一行中截取哪些文字。这可以是一个数字,如-c5就是把第5个字符截取出来;用逗号分隔的数值列表,如-c1,13,50把第11350个字符截取出来;或用破折号分隔的数值范围,如-c20-50截取出第2050之间的字符,包括他们自己。如果要把到行尾的字符全部截取出来,可以用数值范围,缺掉第2个参数,因此
cut –c5- data
data文件每一行中从第5个字符到行尾的内容全部截取出来了,并把结果写入标准输出(屏幕)。
如果不指定file参数,cut从标准输入(通常是键盘)读取输入,这以为着可以把cut命令用作管道线中的过滤器。我们再看who命令的输出:
$who
root     tty2         2009-08-17 16:59
root     pts/0        2009-09-17 23:50 (192.168.1.130)
stu1     pts/2        2009-09-27 15:26 (192.168.1.130)
$who | cut –c1-8
root         2009-08-17 16:59
root         2009-09-17 23:50 (192.168.1.130)
stu1         2009-09-27 15:26 (192.168.1.130)
$
选项-c1-8,18-意思是截取行中的第18个字符(用户名)和第18到行尾的字符(登陆时间)。
-d-f选项
当数据文件或命令的输出不像who那样给出整齐的格式,那么-c选项就不那么好用了。例如,看一下文件/etc/passwd:
$cat /etc/passwd
mysql:x:501:501::/home/mysql:/bin/bash
www:x:48:48::/home/www:/bin/bash
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
test:x:502:502::/home/test:/bin/bash
stu1:x:503:503::/home/stu1:/bin/bash
$
该文件的第一个冒号之前的字符都是系统用户名,我们想要截取这些用户名应该怎么办呢?因为每个名字的长度都可能不一样,所以-c在这里不能很好得完成任务了。但是这个文件有一个特点,它的各个字段都用冒号分隔。尽管不同行之间的每个字段长度都不一样,但可以数冒号来得到各行中的同一字段。这时候我们需要-d-f,命令格式变为:
cut –ddchar –ffields file
其中,dchar是数据中分隔各字段的分隔符,fields表示要从文件file中截取出来的字段。字段编号从1开始,而且格式和-c指定字符是一样的(-f1-3,8-)
所以要从/etc/passwd中截取出系统中的用户名,可以键入以下命令:
$cut –d: -f1 /etc/passwd
mysq
www
ldap
test
stu1
$
 
二、tr
过滤器tr用来转换来自标准输入的字符。Tr命令的一般格式为
tr from-chars to-chars
其中from-charsto-chars是一个或多个字符。所输入的任何字符,如果在from-chars中,它就被转换成to-chars中对应的字符。转换的结果写入标准输出。在tr最简单的格式中,它可以把一个字符转换成另一个字符。
$tr m M < /etc/passwd
Mysql:x:501:501::/hoMe/Mysql:/bin/bash
www:x:48:48::/hoMe/www:/bin/bash
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
test:x:502:502::/hoMe/test:/bin/bash
stu1:x:503:503::/hoMe/stu1:/bin/bash
$
/etc/passwd文件中的小写m都被转换成大写M了。
$cut –d: -f1,6 /etc/passwd | tr : ‘ ‘
mysql /home/mysql
www /home/www
ldap /var/lib/ldap
test /home/test
stu1 /home/stu1
$
cut先截取第1和6字段,然后tr将冒号替换成空格。
$cut –d: -f1,6 /etc/passwd | tr ‘[a-z]’ ‘[A-Z] ‘
MYSQL:/HOME/MYSQL
WWW:/HOME/WWW
LDAP:/VAR/LIB/LDAP
TEST:/HOME/TEST
STU1:/HOME/STU1
$
cut先截取第1和6字段,然后tr将所有小写字母转换为大写。
-s选项
tr命令的-s选项用来压缩to-chars中重复的字符。换句话说,如果转换完成后,有to-chars中的某个连续字符重复出现,则这些连续的相同字符将被替换为一个字符。
$ cut –d: -f1,6 /etc/passwd | tr –s mw MW
Mysql:/hoMe/Mysql
W:/hoMe/W
ldap:/var/lib/ldap
test:/hoMe/test
stu1:/hoMe/stu1
$
trmw分别替换成MW,并且将连续的MW替换成一个字符,所以第二行的WWW变成了单个W
$cat data
1      2     3
4  5  6
$tr –s ‘ ‘ ‘ ‘ < data
1 2 3
4 5 6
$
-s参数的trdata文件每行的多个空格压缩为一个,这里from-charsto-chars同为单个空格。处理的顺序是先替换后压缩,不管替换有没有产生变化。该命令和sed ‘s/ */ /g’是同样的效果,而且和sed一样,trcut均不改变源文件(只是对文件的一个拷贝进行处理)
-d选项
tr也可以删除掉输入流中的字符,其一般格式为
tr –d from-chars
 任何列在from-chars中的字符都会被从标准输入中删除。
$ tr -d ‘ ‘ < data
123
456
$
tr –d删除data文件中的所有空格,结果写入标准输出(屏幕)。该命令和sed ‘s/ //g’等效。tr只能对个别字符操作,如果要转换多个字母的组合,就必须用其他程序,如sed
 
三、grep
grep命令可以从一个或者多个文件中搜索特定的字符串模式,其一般格式为
grep pattern files
每个文件中符合模式pattern的字符串所在的行都将显示在终端上。如果给grep指定了多个文件,会在每一行的前面显示文件名,这样可以识别从中找到该模式的文件。还是以前面的 /etc/passwd文件为例:
$cat /etc/passwd
mysql:x:501:501::/home/mysql:/bin/bash
www:x:48:48::/home/www:/bin/bash
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
test:x:502:502::/home/test:/bin/bash
stu1:x:503:503::/home/stu1:/bin/bash
$grep www /etc/passwd
www:x:48:48::/home/www:/bin/bash
$
该输出表明,文件/etc/passwd中有一行包含字符串www。如果在给定的文件中没有符合该迷失的字符串,grep命令就什么也不显示:
$grep tom /etc/passwd
$
如果另一个文件data的内容如下:
$cat data
www in data
tom in data
jerry in data
$
在在/etc/passwddata两个文件中搜索www的结果如下:
$ grep www /etc/passwd data
/etc/passwd:www:x:48:48::/home/www:/bin/bash
data:www in data
$
结果,除了显示包含www的行外,还显示了他们所在的文件名。
命令格式中的pattern通常是一个正则表达式rewww也是一个re),关于re的介绍不在本文给出,请参考其他文章。
-v选项
有时用户所关心的不是包含指定模式的行,而是不包含的那些行。grep处理这个问题很容易:用-v选项。下面我们来查找/etc/passwd中不包含www的行:
$grep –v www /etc/passwd
mysql:x:501:501::/home/mysql:/bin/bash
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
test:x:502:502::/home/test:/bin/bash
stu1:x:503:503::/home/stu1:/bin/bash
结果中除了包含www的那行外,其他所有行都被显示了出来。
-l选项
有时,用户可能不关心包含一个模式的具体行,而只想知道包含该模式的文件名。下面的例子给出了简单的方法:
$ grep –l www /etc/passwd data file
/etc/passwd
data
$
其中,只有file中没有包含www的行,于是结果显示了包含www的文件名。因为grep很方便的把每个文件显示为一行,我们可以在命令后面通过管道把输出输送给wc –l的输入,以获得包含指定模式的文件的个数。
$ grep –l www /etc/passwd data file | wc –l
2
-n选项
如果grep用了-n选项,文件中符合指定模式的每一行都将加上该行在文件中相对行号。下面的例子告诉我们如何查明文件中包含模式的确切行号:
$grep –n www /etc/passwd
2www:x:48:48::/home/www:/bin/bash
结果表明,包含www的行位于/etc/passwd的第2行。
 
四、sort
sort用于对指定的文件中的行进行排序,其基本格式为:
sort file(s)
将文件file(s)中的行排序,若未指定,则排序标准输入(键盘输入)。
$cat names
Lucy
Tony
Fred
Tony
$
sort有许多选项,可以让排序操作非常灵活。下面我们只介绍其中一部分选项。
-u选项
-u选项告诉sort命令,在输出结果中去除重复的行:
$sort names
Fred
Lucy
Tony
Tony
$sort –u names
Fred
Lucy
Tony
$
可以看出,包含Tony的重复行从输出中被去掉了。
-r选项
-r选项颠倒排序顺序:
$sort –r names
Tony
Tony
Lucy
Fred
$
-o选项
默认情况下,sort把输出结果写入标准输出。要把结果写入文件,可以用输出重定向:
$sort names > sorted_names
$
另一种方法是用-o选项指定输出文件,只要在-o之后接着写上输出文件名:
$sort names -o sorted_names
$
该命令把对文件names排序的结果写入sorted_names。很多时候都会想把一个文件中的各行排序,然后把排好序的结果写回原来的文件,键入
$sort names > names
$
不能成功,它将以破坏文件而告终。然而,采用-o选项时,却可以给输出文件指定和输入文件相同的名字:
$sort names -o names
$cat names
Fred
Lucy
Tony
Tony
原来的文件顺序被排好了,并且不会有任何错误,这个-o确实蛮好的。
-n选项
sort默认是按照ASCII编码的顺序来进行排序的,如果要按照数学方式来排序,该怎么做呢?看下面的例子:
$cat data
1 11 www
-3 13 jerry
2 12 tom
$sort data
1 11 www
2 12 tom
-3 13 jerry
$sort –n data
-3 13 jerry
1 11 www
2 12 tom
可以看到,-n参数按照数字大小来进行排序了。
跳过字段
接着上面的例子,如果想要以第二列数字来进行排序该怎么办呢?看下面的做法:
$sort +1n data
1 11 www
2 12 tom
-3 13 jerry
$
结果是以第二列数字排序的,+1代表跳过第一字段。注意,不是所有的sort都支持+这个选项,这和你的系统或者sort版本有关。
$sort +1n data
sort: open failed: +1n: No such file or directory
某些系统运行该命令将得到如上的错误信息。
-t选项
$cat /etc/passwd
mysql:x:501:501::/home/mysql:/bin/bash
www:x:48:48::/home/www:/bin/bash
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
test:x:502:502::/home/test:/bin/bash
stu1:x:503:503::/home/stu1:/bin/bash
$
如果想要以冒号作为分隔符,按照第三列数字(用户id)来对/etc/passwd进行排序,应该怎么做呢。是用下面这个命令吗?
$sort +2n /etc/passwd
错了,因为跳过字段时,sort默认是以空格或者制表符(tab)来分隔字段的。这里我们需要用-t参数,改变sort默认的字段分隔符:
$sort +2n –t: /etc/passwd
www:x:48:48::/home/www:/bin/bash
ldap:x:55:55:LDAP User:/var/lib/ldap:/bin/false
mysql:x:501:501::/home/mysql:/bin/bash
test:x:502:502::/home/test:/bin/bash
stu1:x:503:503::/home/stu1:/bin/bash
$
这里我们把第三字段用黑体标注了起来,方便检验排序的正确性。
 
四、uniq
如果要在文件中查找重复的行,uniq命令会很管用,该命令一般格式为
uniq in_file out_file
该格式中,uniqin_file复制到out_file,处理过程中,去掉重复的行。uniq对重复行的定义是完全相同的连续行。
如果不指定第二个参数out_file,结果就写入标准输出;如果in_file也没有指定,uniq就成了一个过滤器,从标准输入读入输入。下面有几个例子示意uniq如何工作。
$cat names
Lucy
Tony
Fred
Tony
$
可以看出,文件中Tony出现了两次,可以用uniq来删除这种重复的行:
$uniq names
Lucy
Tony
Fred
Tony
$
奇怪,输出中Tony仍然出现了两次,unqi没有用吗?对了,前面说了,uniq对重复行的定义是完全相同的连续行。而这里的两行TonyFred分开了,uniq自然不会改变他们。再看下面是怎么处理的:
$sort names | uniq
Fred
Lucy
Tony
$
sort先对文件进行了排序,这样两行Tony就连续了,这次uniq就派上用场了。(想想带-u选项的sort命令,完成的就是这个功能)
-d选项
很多时候,用户所关心的是找出文件中有哪些重复行。uniq-d选项就是这个作用:它告诉uniq把文件中的重复行写入out_file(或标准输出),不管他们在文件中连续出现多少次,这样的连续行只写一次。
$sort names | uniq -d
Tony
和前面一样,sort先对文件排序,然后uniq –d找到重复的连续行,然后只显示一行。下面的命令可以用来检查系统中是否有相同的帐户:
$sort /etc/passwd | uniq –d
$
结果将显示属性完全相同的两个unix帐户,如果只是想要找出同名的帐户呢,我们需要截取/etc/passwd文件的第一字段来进行操作:
$sort /etc/passwd | cut –d: -f1 | uniq –d
harry
tom
$
上面的结果表明,系统中至少有2harry2tom帐户。
-c选项
-c选项的uniq删除重复行的同时,显示每行出现的次数。
$sort names | uniq -c
      1 Fred
      1 Lucy
      2 Tony
$
 
本文详细介绍了工具cuttrgrepsortuniq的用法。resedawk在笔者以下几篇文章中分别加以讨论:
http://licong.blog.51cto.com/542131/204226sed学习笔记二--高级命令》
再重复一次,以上工具掌握得越灵活,编写shell脚本就越容易。

本文出自 “licong” 博客,请务必保留此出处http://licong.blog.51cto.com/542131/208576

  评论这张
 
阅读(695)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017