Shell (四)

谈到 I/O redirection ,不妨先让我们认识一下 File Descriptor (FD) 。程序的运算,在大部份情况下都是进行数据(data)的处理, 这些数据从哪读进?又送出到哪里呢?这就是 file descriptor(FD) 的功用了。

在 shell 程序中,最常使用的 FD 大概有三个,分别为:

0: Standard Input (STDIN)
1: Standard Output (STDOUT)
2: Standard Error Output (STDERR)

在标准情况下,这些 FD 分别跟如下设备(device)关联:

stdin(0): keyboard
stdout(1): monitor
stderr(2): monitor

我们可以用如下下命令测试一下:

$ mail -s test root
this is a test mail.
please skip.
^d (同时按 crtl 跟 d 键)

很明显,mail 程序所读进的数据,就是从 stdin 也就是 keyboard 读进的。不过,不见得每个程序的 stdin 都跟 mail 一样从keyboard 读进,因为程序作者可以从档案参数读进 stdin ,如:

$ cat /etc/passwd

但,要是cat 之后没有档案参数则又如何呢?哦,请您自己玩玩看啰…. ^_^

若读进的档案参数是不存在的,那我们在 monitor 上就看到了:

$ ls no.such.file
ls: no.such.file: No such file or directory

若,一个命令同时产生stdout 与 stderr 呢?那还不简单,都送到 monitor 来就好了:

$ touch my.file
 
$ ls my.file no.such.file
ls: no.such.file: No such file or directory
my.file

okay,至此,关于 FD 及其名称、还有相关联的设备,相信你已经没问题了吧?那好,接下来让我们看看如何改变这些 FD 的预设数据信道,我们可用 < 来改变读进的数据信道(stdin),使之从指定的档案读进。我们可用 > 来改变送出的数据信道(stdout, stderr),使之输出到指定的档案。
比方说:

$ cat < my.file
#就是从my.file 读进数据
$ mail -s test root < /etc/passwd
#则是从/etc/passwd 读进...

这样一来,stdin 将不再是从 keyboard 读进,而是从档案读进了…

严格来说,< 符号之前需要指定一个 FD 的(之间不能有空白), 但因为 0 是 < 的默认值,因此 < 与 0< 是一样的,这个好理解吧? 那,要是用两个 << 又是啥呢?这是所谓的 HERE Document ,它可以让我们输入一段文本,直到读到 << 后指定的字符串。 比方说:

$ cat < <FINISH
first line here
second line there
third line nowhere
FINISH

这样的话,cat 会读进 3 行句子,而无需从 keyboard 读进数据且要等 ^d 结束输入。至于 > 又如何呢?

当你搞懂了 0< 原来就是改变 stdin 的数据输入信道之后,相信要理解如下两个 redirection 就不难了:

* 1>
* 2>

前者是改变 stdout 的数据输出信道,后者是改变 stderr 的数据输出信道。两者都是将原本要送出到 monitor 的数据转向输出到指定档案去。由于 1 是 > 的默认值,因此,1> 与 > 是相同的,都是改 stdout 。

用上次的 ls 例子来说明一下好了:

$ ls my.file no.such.file 1>file.out
ls: no.such.file: No such file or directory
#这样monitor 就只剩下 stderr 而已。因为 stdout 给写进 file.out 去了。
$ ls my.file no.such.file 2>file.err
my.file
#这样monitor 就只剩下 stdout ,因为 stderr 写进了 file.err 。
$ ls my.file no.such.file 1>file.out 2>file.err
#这样monitor 就啥也没有,因为 stdout 与 stderr 都给转到档案去了...

不过,有些地方还是要注意一下的。首先,是同时写入的问题。比方如下这个例子:

$ ls my.file no.such.file 1>file.both 2>file.both

假如stdout(1) 与 stderr(2) 都同时在写入 file.both 的话, 则是采取“覆盖”方式:后来写入的覆盖前面的。让我们假设一个 stdout 与 stderr 同时写入 file.out 的情形好了:

* 首先 stdout 写入10个字符
* 然后 stderr 写入 6 个字符

那么,这时候原本 stdout 的前面 6 个字符就被 stderr 覆盖掉了。那,如何解决呢?所谓山不转路转、路不转人转嘛,我们可以换一个思维:将 stderr 导进 stdout 或将 stdout 导进 sterr ,而不是大家在抢同一份档案,不就行了。

* 2>&1 就是将 stderr 并进 stdout 作输出
* 1>&2 或 >&2 就是将 stdout 并进 stderr 作输出

于是,前面的错误操作可以改为:

$ ls my.file no.such.file 1>file.both 2>&1
#或
$ ls my.file no.such.file 2>file.both >&2

在 Linux 档案系统里,有个设备档位于 /dev/null 。许多人都问过我那是甚么玩意儿?我跟你说好了:那就是”空”啦

这个 null 在 I/O Redirection 中可有用得很呢:

* 若将 FD1 跟 FD2 转到 /dev/null 去,就可将 stdout 与 stderr 弄不见掉。
* 若将 FD0 接到 /dev/null 来,那就是读进 nothing 。

比方说,当我们在执行一个程序时,画面会同时送出 stdout 跟 stderr , 假如你不想看到 stderr (也不想存到档案去),那可
以:

$ ls my.file no.such.file 2>/dev/null
my.file
#若要相反:只想看到stderr 呢?还不简单©u将 stdout 弄到 null 就行:
$ ls my.file no.such.file >/dev/null
ls: no.such.file: No such file or directory

那接下来,假如单纯只跑程序,不想看到任何输出结果呢?

除了用 >/dev/null 2>&1 之外,你还可以如此:

$ ls my.file no.such.file &>/dev/null
#(提示:将 &> 换成 >& 也行啦~~! )

接下来,再让我们看看如下情况:

$ echo "1" > file.out
$ cat file.out
1
$ echo "2" > file.out
$ cat file.out
2

看来,我们在重导stdout 或 stderr 进一份档案时,似乎永远只获得最后一次导入的结果。那,之前的内容呢?
呵~~~ 要解决这个问提很简单啦,将 > 换成 >> 就好:

$ echo "3" >> file.out
$ cat file.out
2
3

如此一来,被重导的目标档案之内容并不会失去,而新的内容则一直增加在最后面去。再来还有一个难题要你去参透的呢:

$ echo "some text here" > file
$ cat < file
some text here
$ cat < file > file.bak
$ cat < file.bak
some text here
$ cat < file > file
$ cat < file

怎么最后那个 cat 命令看到的 file 竟是空的?要理解这一现像其实不难,这只是 priority 的问题而已:

* 在 IO Redirection 中,stdout 与 stderr 的管道会先准备好,才会从 stdin 读进资料。也就是说,在上例中,> file 会先将 file 清空,然后才读进 < file , 但这时候档案已经被清空了,因此就变成读不进任何数据了...

$ cat <> file
$ cat < file >> file

* 在 cm1 | cm2 | cm3 … 这段 pipe line 中,若要将 cm2 的结果存到某一档案呢?
若你写成 cm1 | cm2 > file | cm3 的话,那你肯定会发现 cm3 的 stdin 是空的(当然啦,你都将水管接到别的水池了)聪明的你或许会如此解决:

cm1 | cm2 > file ; cm3 < file

是的,你的确可以这样做,但最大的坏处是:这样一来,file I/O 会变双倍.在 command 执行的整个过程中,file I/O 是最常见的最大效能杀手。
凡是有经验的 shell 操作者,都会尽量避免或降低 file I/O 的频率。那,上面问题还有更好方法吗?有的,那就是 tee 命令了。

*所谓 tee 命令是在不影响原本 I/O 的情况下,将 stdout复制一份到档案去。

因此,上面的命令行可以如此打:

cm1 | cm2 | tee file | cm3

在预设上,tee 会改写目标档案,若你要改为增加内容的话,那可用 -a 参数达成。

linux shell 中”2>&1″含义:

对于& 1 更准确的说应该是文件描述符 1,而1 一般代表的就是STDOUT_FILENO,实际上这个操作就是一个dup2(2)调用.他标准输出到all_result ,然后复制标准输出到文件描述符2(STDERR_FILENO),其后果就是文件描述符1和2指向同一个文件表项,也可以说错误的输出被合并了.其中0 表示键盘输入 1表示屏幕输出 2表示错误输出.把标准出错重定向到标准输出,然后扔到/DEV/NULL下面去。通俗的说,就是把所有标准输出和标准出错都扔到垃圾桶里面。

command >out.file 2>&1 &

command >out.file是将command的输出重定向到out.file文件,即输出内容不打印到屏幕上,而是输出到out.file文件中。 2>&1 是将标准出错重定向到标准输出,这里的标准输出已经重定向到了out.file文件,即将标准出错也输出到out.file文件中。最后一个& , 是让该命令在后台执行。

试想2>1代表什么,2与>结合代表错误重定向,而1则代表错误重定向到一个文件1,而不代表标准输出;换成2>&1,&与1结合就代表标准输出了,就变成错误重定向到标准输出.

你可以用:

ls 2>1测试一下,不会报没有2文件的错误,但会输出一个空的文件1;

ls xxx 2>1测试,没有xxx这个文件的错误输出到了1中;

ls xxx 2>&1测试,不会生成1这个文件了,不过错误跑到标准输出了;

ls xxx >out.txt 2>&1, 实际上可换成 ls xxx 1>out.txt 2>&1;重定向符号>默认是1,错误和输出都传到out.txt了。

为何2>&1要写在后面?

command > file 2>&1

首先是command > file将标准输出重定向到file中, 2>&1 是标准错误拷贝了标准输出的行为,也就是同样被重定向到file中,最终结果就是标准输出和错误都被重定向到file中。

command 2>&1 >file

2>&1 标准错误拷贝了标准输出的行为,但此时标准输出还是在终端。>file 后输出才被重定向到file,但标准错误仍然保持在终端。

3 weeks ago, this page was being read.

,

Subscribe to Comments