打包压缩加密备份_bash笔记6

tar
tape archives，用来打包文件，文件格式具备可移植性

打包（或者叫归档，因为不压缩）：

# -c创建文件，-f指定文件名tar -cf bundle.tar file1 file2...# 支持通配符tar -cf bash_bundle.tar "*.sh"

追加：

# -r向已存在的包中添加一个文件tar -rf bash_bundle.tar new.sh# 对比时间戳，比同名文件新的话才添加# vv是为了输出详细日志，没有就表示文件不新，没往进塞tar -uvvf bash_bundle.tar new.sh

删除：

# --delete删除包里的文件tar -f sh.tar --delete test.shP.S.Mac下没有--delete选项

查看：

# -t查看包内容tar -tf bash_bundle.tar# -v看详细点的（文件权限、修改日期，类似于ls -l）tar -tvf bash_bundle.tar# -vv看更详细的（比上面多一行包文件格式信息）tar -tvvf bash_bundle.tar

P.S.-v和-vv可以配合其它选项，用来输出log

提取（解压）：

# -x提取到当前目录tar -xf bash_bundle.tar# -C提取到指定目录（目录必须已存在，否则报错）tar -xf bash_bundle.tar -C ./tmp# 只提取指定文件tar -C ./tmp -xf bash_bundle.tar ab.diff

奇怪的技巧：

# stdin/stdout# 把打包结果输出到stdouttar -cf - test.sh# 从stdin读取包内容tar -xf - -C ./tmp test.sh

配合ssh，就能一管子插到远程机器上，批量传输文件：

# 本地打包，远程提取（用来同步目录）tar -cf - test.sh | ssh <user>@<IP> "mkdir -p ~/tmp/sh; tar -xf - -C ~/tmp/sh"# 本地打包，远程保存（用来批量上传文件）tar -cf - test.sh | ssh jiajiejie.jj@10.125.1.214 "mkdir -p ~/tmp; cat > ~/tmp/sh.tar"# 把远程文件提取到本地（用来批量下载文件）ssh jiajiejie.jj@10.125.1.214 "cat ~/tmp/sh.tar" | tar -xf - -C ./tmp

减少中间文件，减少读写磁盘，效率更高一些

tar默认只是归档，用来打包文件，不压缩，提供了压缩选项：

# -z压缩为zip格式tar -a -cf bash.tar.gz "*.sh"# -j压缩为bunzip2格式tar -a -cf bash.tar.bz2 "*.sh"# --lzma压缩为lzma格式（Mac下没有该选项）tar -a -cf bash.tar.lzmatar -a -cf filename.tar.lzo

-a/--autocompress选项能够根据文件名自动选择压缩格式，如上例。解压时需要指定压缩格式，如常见的编译安装方法：

# 下载源码wget http://path/to/source.tar.gz# 解压tar -zxvf source.tar.gz# 或者，-a自动检测压缩格式tar -axvf source.tar.gz# 三板斧cd source./configuremakemake install

其它选项和用法：

# -A合并包（把2合并到1）tar -Af bundle1.tar bundle2.tar# -d比较包里外的文件tar -df sh1.tar test.sh# --exclude排除指定文件（排除md文件）tar -cf bundle.tar "*" --exclude "*.md"# 或者把需要排除的文件名写入文件，通过-X选项排除echo "*.md" > tar.ignoretar -cf bundle.tar "*" -X tar.ignore# 排除版本控制目录（.git, .svn之类的）tar --exclude-vcs -zcvf proj.tar.gz ./proj# --totals输出包文件大小tar -zcvf dir.tar.gz "*" --totals

P.S.Mac下没有-d、--totals选项，低版本tar不支持--exclude-vcs

cpio
与tar类似，从stdin接收输入文件名，并把打包文件输出到stdout，多用于rpm软件包，不常用

特点是支持绝对路径：tar打包时会把绝对路径转相对路径，cpio不转，如果打包时输入了绝对路径，提取时也按绝对路径恢复，否则，与tar一样，提取到当前目录：

# 只能从stdin接收文件名# 打包，-o指定输出文件名，-v输出文件列表find . -name "*.sh" -print | cpio -ov > bash.cpio# 查看，-i指定输入包名，-t列出包内容cpio -vit < bundle.cpio# 提取，-d表示提取操作

cpio -vid < bundle.cpio
注意：cpio覆盖文件没有提示，如果绝对路径对应的文件已存在且比较旧，会被静默替换掉。提取时会自动对比时间戳，如果包里文件新，就替掉，否则跳过提取该文件

P.S.用cpio解压rpm包需要先把rpm包转成cpio包，需要rpm2cpio工具

gzip/gunzip、zcat
这3个命令都能处理gzip压缩文件，gzip命令只能压缩单文件，无法直接处理目录和多个文件。所以一般先用tar命令打包，再用gzip压缩

gzip/gunzip
压缩：

# 会删除test.sh，再生成test.sh.gz

gzip test.sh
解压：

# 删除test.sh.gz，生成test.sh

gunzip test.sh.gz
查看：

# -l列出包内文件名、压缩前后大小、压缩比

gzip -l test.sh.gz
也配合stdin/stdout使用：

# -c输出到stdout

cat sub.sh | gzip -c > sub.sh.gz
这样就保留了原文件sub.sh

其它选项和用法：

# --fast/--best指定压缩级别，分别对应最低/最高压缩比# 一共有9级，--fast对应1，--best对应9gzip test.sh --fast# 等价于gzip test.sh -1# tar的-z选项使用gzip压缩tar -zcvf bash.tar.gz "*.sh"# 或者，-a自动检测压缩格式tar -acvf bash.tar.gz "*.sh"# 或者，先打包再压缩tar -cvf bash.tar "*.sh"; gzip bash.tarzcat

不解压，直接读取gzip压缩文件内容，输出到stdout：

# 读取gz文件内容

zcat test.sh.gz
P.S.在Mac下zcat会强制给输入文件名添上.Z后缀，导致报错：

zcat: can’t stat: sub.sh.gz (sub.sh.gz.Z): No such file or directory

所以为了保证可移植性，不建议用zcat，可以用gunzip -c代替，更多信息请查看zcat on OS X always appends a .Z to the filename (better use gunzip -c)

bzip2/bunzip2
一般情况下，比gzip压缩比更高，用法与gzip完全一致：

# 压缩# 会删除test.sh，生成test.sh.bz2**bzip2 test.sh**# 解压

bunzip2 test.sh.bz2
实测发现对于文本文件test.sh，同样火力全开（-9）的情况下，bzip2比gzip的压缩比还稍低一点：

-rwxr-xr-x  1 ayqy  staff  1064  4  9 16:31 test.sh-rwxr-xr-x  1 ayqy  staff  682  4  9 16:31 test.sh.bz2-rwxr-xr-x  1 ayqy  staff  632  4  9 16:31 test.sh.gz

同样，gzip有的bzip2几乎都有：

# 指定压缩级别bzip2 -1 test.sh# tar -j选项压缩成bz2tar -jcvf bash.tar.gz "*.sh"# ...同gzip

另外，还有一些独有特性（bzip2有，而gzip没有的）：

# -k保留输入文件

bzip2 -k test.sh
P.S.还有一个新一些的压缩工具叫lzma/unlzma，据说压缩比更高，一般不给预装，需要手动装一个，用法与gzip/bzip2一样，二者的所有选项都支持

zip
非常常见的压缩格式，压缩比不很高，但很多网络资源都是这个格式

压缩：

# 生成test.sh.zip，不删除test.shzip test.sh.zip test.sh# -r递归处理目录zip -r bundle.zip .

解压：

# 解压到当前目录，不会删除test.sh.zip

unzip test.sh.zip
如果发现目标文件已存在，会提示选项是否替换/重命名/取消

更新：

# -u用新文件替掉包里的zip test.sh.zip -u test.sh

删除：

# -d删除包里指定文件zip -d test.sh.zip test.sh

查看：

# -l列出包内容unzip -l test.sh.zip

加密/编码
linux提供了很多加密/编码工具：crypt, gpg, base64等等

crypt
从stdin接收文件输入和口令，把加密结果输出到stdout

加密：

# 交互提示输入口令crypt < test.sh# 把加密结果重定向到文件crypt < test.sh > test.lock.sh

解密：

# 同样，只接受来自stdin的，只输出到stdoutcrypt 口令 < test.lock.sh > test.sh

P.S.Mac下没有该命令

gpg
GUN privacy guard，采用密钥签名方式，简单用法如下：

# 加密，交互提示输入口令，生成test.sh.gpggpg -c test.sh# 解密，交互提示输入口令gpg test.sh.gpg

P.S.Mac下没有该命令

base64
与上面2个命令不同，因为很容易解码，与明文没什么区别，只能算作编码方式：

# 编码base64 test.sh > test.sh.base64# 解码base64 -D test.sh.base64 > test.sh

rsync
rsync用来备份系统快照，自带diff和压缩机制，比scp等命令高效，此外还支持网络数据传输，会比较源和目标端的文件，只复制备份更新的，也支持加密选项

备份：

# 备份到本地# 在当前目录创建bash.bak/bash，复制下面所有内容# -a归档，-v输出logrsync -av bash bash.bak# 备份到远程rsync -av bash ayqy@<IP>:~/bak

注意：路径格式有讲究，如果源路径结尾有/，就只复制下面所有文件/子文件到目标路径，否则在目标路径下创建对应文件夹，再复制下面所有文件/子文件。一句话，有/不创建文件夹，目标路径结尾的/含义类似

定期备份只需要定期执行相同的命令，自动检查差异和更新并备份

恢复：

# 从本地恢复rsync -av bash.bak bash# 从远端恢复rsync -av ayqy@<IP>:~/bak bash

交换参数位置即可

其它选项和特性：

# -z压缩传输rsync -zav bash bash.bak# --exclude排除指定文件rsync -av bash bash.bak --exclude "*.md"# --delete备份时删除不存在的文件，默认不会删掉源端已经删掉的东西rsync -av bash bash.bak --exclude --delete

更多相关文章

随机推荐