Linux基础使用3-文件压缩、解压和搜索

文件压缩和解压

常用命令

tar

解包:tar zxvf filename.tar
打包:tar zcvf filename.tar dirname

注意czvf和zcvf是没有区别的,tar打包命令的参数位置可以随意变换。

gz命令

解压1:gunzip filename.gz
解压2:gzip -d filename.gz
压缩:gzip filename
.tar.gz 和 .tgz
解压:tar zxvf filename.tar.gz
压缩:tar **zc**vf filename.tar.gz dirname
压缩多个文件:tar zcvf filename.tar.gz dirname1 dirname2 dirname3.....

bz2命令

解压1:bzip2 -d filename.bz2
解压2:bunzip2 filename.bz2
压缩:bzip2 -z filename
.tar.bz2
解压:tar jxvf filename.tar.bz2
压缩:tar jcvf filename.tar.bz2 dirname

bz命令

解压1:bzip2 -d filename.bz
解压2:bunzip2 filename.bz
.tar.bz
解压:tar jxvf filename.tar.bz

z命令

解压:uncompress filename.z
压缩:compress filename
.tar.z
解压:tar zxvf filename.tar.z
压缩:tar zcvf filename.tar.z dirname

zip命令

解压:unzip filename.zip
压缩:zip filename.zip dirname

练习

在/home/coggle目录下在你英文昵称(中间不要有空格)的文件夹中,下载链接

cd /home/coggle
mkdir dongyu
cd dongyu
wget -O wordpress.zip https://mirror.coggle.club/dataset/jaychou_lyrics.txt.zip
ls

使用zip 压缩/home/coggle目录下在你英文昵称(中间不要有空格)的文件夹

cd ..
zip dongyu.zip dongyu
ls

将 /home/coggle目录下在你英文昵称(中间不要有空格)的文件夹,打包为tar格式。

tar czvf dongyu.tar dongyu

将 /home/coggle目录下在你英文昵称(中间不要有空格)的文件夹,打包为tar.gz格式。

tar zcvf dongyu.tar.gz dongyu

文件搜索

查找文件

find

find 命令用来在指定目录下查找文件。任何位于参数之前的字符串都将被视为欲查找的目录名。如果使用该命令时,不设置任何参数,则 find 命令将在当前目录下查找子目录与文件。并且将查找到的子目录和文件全部进行显示。

语法
find   path   -option   [   -print ]   [ -exec   -ok   command ]   {} \;

find 根据下列规则判断 path 和 expression:

在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。

如果 path 是空字串则使用目前路径,如果 expression 是空字串则使用 -print 为预设 expression。

#-print 将查找到的文件输出到标准输出
#-exec command {} \; —–将查到的文件执行command操作,{} 和 \;之间有空格
#-ok 和-exec相同,只不过在操作前要询用户
expression常用选项
-mount, -xdev : 只检查和指定目录在同一个文件系统下的文件,避免列出其它文件系统中的文件
-amin n : 在过去 n 分钟内被读取过
-anewer file : 比文件 file 更晚被读取过的文件
-atime n : 在过去n天内被读取过的文件
-cmin n : 在过去 n 分钟内被修改过
-cnewer file :比文件 file 更新的文件
-ctime n : 在过去n天内被修改过的文件
-empty : 空的文件-gid n or -group name : gid 是 n 或是 group 名称是 name
-ipath p, -path p : 路径名称符合 p 的文件,ipath 会忽略大小写
-name name, -iname name : 文件名称符合 name 的文件。iname 会忽略大小写
-size n : 文件大小 是 n 单位,b 代表 512 位元组的区块,c 表示字元数,k 表示 kilo bytes,w 是二个位元组。
-type c : 文件类型是 c 的文件。
d: 目录
c: 字型装置文件
b: 区块装置文件
p: 具名贮列
f: 一般文件
l: 符号连结
s: socket
-pid n : process id 是 n 的文件

可以使用 ( ) 将运算式分隔,并使用下列运算。

expression1 -and expression2
! expression
-not expression
expression1 -or expression2
expression1, expression2

locate/slocate

locate命令和slocate命令都用来查找文件或目录。locate命令其实是find -name的另一种写法,但是要比find快得多,原因在于它不搜索具体目录,而是搜索一个数据库/var/lib/locatedb,这个数据库中含有本地所有文件信息。Linux系统自动创建这个数据库,并且每天自动更新一次,所以使用locate命令查不到最新变动过的文件。

为了避免这种情况,可以在使用locate之前,先使用updatedb命令,手动更新数据库。

语法
locate/slocate(选项)(查找字符串:要查找的文件名中含有的字符串。) 
选项
-d<目录>或–database=<目录>:指定数据库所在的目录;
-u:更新slocate数据库;
–help:显示帮助;
-i:忽略大小写;
-c:不输出文件名,仅计算找到的文件数量;
-l:仅输出几行的意思,例如输出5行则是-l 5;
-S:输出locate所使用的数据库文件的相关信息,包括该数据库记录的文件/目录数量等;
-r:后面可接正则表达式的显示方式

练习

分别使用find和locate统计文件系统中以py为后缀名的文件个数

这里需要补充一下,wc是文本统计工具,全称是word count,能将文件的行数、字数、字节数打印出来,参数-l表示统计行数。

find ~ -name "*.py" | wc -l 
locate -c *.py

用locate寻找到python3.preinst文件

locate python3.preinst

搜索etc目录下所有以sh开头的文件:

locate /etc/sh 

搜索用户主目录下,所有以m开头的文件:

locate ~/m 

搜索用户主目录下,所有以m开头的文件,并且忽略大小写:

locate -i ~/m

查找包含指定内容的文件

find

文件名+内容
find 文件目录  -type f |xargs grep "查询内容"; 

grep

文件名+内容
grep -r "查询内容"  文件目录
只显示包含内容的文件名
grep -r -l "查询内容"  文件目录

练习

使用find寻找/home/文件夹下文件内容包含coggle的文件

find /home  -type f |xargs grep "coggle"; 

从文件中筛选字符串

常用命令

grep

语法
grep [选项] "搜索内容" 文件名
选项
--color=auto: 搜索出的关键字用颜色显示
-a 或 --text : 不要忽略二进制的数据。
-A<显示行数> 或 --after-context=<显示行数> : 除了显示符合范本样式的那一列之外,并显示该行之后的内容。
-b 或 --byte-offset : 在显示符合样式的那一行之前,标示出该行第一个字符的编号。
-B<显示行数> 或 --before-context=<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前的内容。
-c 或 --count : 计算符合样式的列数。
-C<显示行数> 或 --context=<显示行数>或-<显示行数> : 除了显示符合样式的那一行之外,并显示该行之前后的内容。
-d <动作> 或 --directories=<动作> : 当指定要查找的是目录而非文件时,必须使用这项参数,否则grep指令将回报信息并停止动作。
-e<范本样式> 或 --regexp=<范本样式> : 指定字符串做为查找文件内容的样式。
-E 或 --extended-regexp : 将样式为延伸的正则表达式来使用。
-f<规则文件> 或 --file=<规则文件> : 指定规则文件,其内容含有一个或多个规则样式,让grep查找符合规则条件的文件内容,格式为每行一个规则样式。
-F 或 --fixed-regexp : 将样式视为固定字符串的列表。
-G 或 --basic-regexp : 将样式视为普通的表示法来使用。
-h 或 --no-filename : 在显示符合样式的那一行之前,不标示该行所属的文件名称。
-H 或 --with-filename : 在显示符合样式的那一行之前,表示该行所属的文件名称。
-i 或 --ignore-case : 忽略字符大小写的差别。
-l 或 --file-with-matches : 列出文件内容符合指定的样式的文件名称。
-L 或 --files-without-match : 列出文件内容不符合指定的样式的文件名称。
-n 或 --line-number : 在显示符合样式的那一行之前,标示出该行的列数编号。
-o 或 --only-matching : 只显示匹配PATTERN 部分。
-q 或 --quiet或--silent : 不显示任何信息。
-r 或 --recursive : 此参数的效果和指定"-d recurse"参数相同。
-s 或 --no-messages : 不显示错误信息。
-v 或 --invert-match : 显示不包含匹配文本的所有行。
-V 或 --version : 显示版本信息。
-w 或 --word-regexp : 只显示全字符合的列。
-x --line-regexp : 只显示全列符合的列。
-y : 此参数的效果和指定"-i"参数相同。

下面的代码可以匹配多个模式:

grep pattern1 | pattern2 files :显示匹配 pattern1 或 pattern2 的行, 
grep pattern1 files | grep pattern2 :显示既匹配 pattern1 又匹配 pattern2 的行。

awk

AWK 是一种处理文本文件的语言,是一个强大的文本分析工具。取了三位创始人 Alfred Aho,Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。

语法
awk [选项参数] 'script' var=value file(s)

awk [选项参数] -f scriptfile var=value file(s)
选项参数说明
-F fs or --field-separator fs:指定输入文件折分隔符,fs是一个字符串或者是一个正则表达式,如-F:。
-v var=value or --asign var=value:赋值一个用户定义变量。
-f scripfile or --file scriptfile:从脚本文件中读取awk命令。
-mf nnn and -mr nnn:对nnn值设置内在限制,-mf选项限制分配给nnn的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
-W compact or --compat, -W traditional or --traditional:在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样,所有的awk扩展都被忽略。
-W copyleft or --copyleft, -W copyright or --copyright:打印简短的版权信息。
-W help or --help, -W usage or --usage:打印全部awk选项和每个选项的简短说明。
-W lint or --lint:打印不能向传统unix平台移植的结构的警告。
-W lint-old or --lint-old:打印关于不能向传统unix平台移植的结构的警告。
-W posix:打开兼容模式。但有以下限制,不识别:/x、函数关键字、func、换码序列以及当fs是一个空格时,将新行作为一个域分隔符;操作符**和**=不能代替^和^=;fflush无效。
-W re-interval or --re-inerval:允许间隔正则表达式的使用,参考(grep中的Posix字符类),如括号表达式[[:alpha:]]。
-W source program-text or --source program-text:使用program-text作为源代码,可与-f命令混用。
-W version or --version:打印bug报告信息的版本。

sed

sed是一个很好的文件处理工具,本身是一个管道命令,主要是以行为单位进行处理,可以将数据行进行替换、删除、新增、选取等特定工作,下面先了解一下sed的用法

语法
sed (选项) '命令' 文件名       
常用选项
-n∶使用安静(silent)模式。在一般 sed 的用法中,所有来自 STDIN的资料一般都会被列出到屏幕上。但如果加上 -n 参数后,则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e∶直接在指令列模式上进行 sed 的动作编辑;
-f∶直接将 sed 的动作写在一个档案内, -f filename 则可以执行 filename 内的sed 动作;
-r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i∶直接修改读取的档案内容,而不是由屏幕输出。
常用命令
a  ∶新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)
c ∶取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!
d ∶删除,因为是删除啊,所以 d 后面通常不接任何咚咚;
i ∶插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);
p ∶列印,亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作
s ∶取代,可以直接进行取代的工作,通常这个 s 的动作可以搭配正规表示法,例如 1,20s/old/new/g

练习

下载周杰伦歌词文本,并进行解压。下载链接

cd /home/coggle
mkdir dongyu
cd dongyu
wget -O wordpress.zip https://mirror.coggle.club/dataset/jaychou_lyrics.txt.zip
unzip wordpress.zip
ls

利用grep命令完成以下操作,并输出到屏幕

  1. 统计歌词中 包含【超人】的歌词
  2. 统计歌词中 包含【外婆】但不包含【期待】的歌词
  3. 统计歌词中 以【我】开头的歌词
  4. 统计歌词中 以【我】结尾的歌词
grep "超人" jaychou_lyrics.txt 
grep "外婆" jaychou_lyrics.txt | grep "期待" -v
grep "^我" jaychou_lyrics.txt
grep "我$" jaychou_lyrics.txt

利用sed命令完成以下操作,并输出到屏幕

  1. 将歌词中 第2行 至 第40行 删除

    sed -i '2,40d' jaychou_lyrics.txt 

  2. 将歌词中 所有【我】替换成【你】

    sed -i 's/我/你/g' jaychou_lyrics.txt 

参考资料

linux压缩和解压缩命令

Linux find 命令

linux中查找包含指定内容的文件

Linux-locate/slocate命令

find、grep、wc 使用方法简单总结

linux之sed用法

使用grep递归查找含有某字符串的所有文件_aischang-CSDN博客_grep递归搜索文件内容

Linux grep 命令和通配符

Linux awk 命令