管道、重定向与数据流

管道与重定向：让数据流动起来

引言

欢迎学习管道与重定向！通过本教程，您将学会如何利用这两个强大的工具，轻松创建高效的工作流，自动化处理任务，从而节省宝贵的时间和精力。

在之前的学习中，我们了解了许多用于处理数据的命令（过滤器）。现在，我们将学习如何将这些命令连接起来，实现更复杂、更强大的数据操作。

本节内容需要您花些时间阅读。尽管管道和重定向的机制和用法相当简单，但要真正有效地使用它们，理解其背后的行为和特性至关重要。

什么是数据流？

在命令行中，我们运行的每一个程序都会自动连接三个数据流。您可以将程序想象成一个处理机器，它有三个端口：

• 标准输入 (stdin)：编号为 0。这是程序的“输入口”，用于接收需要处理的数据。
• 标准输出 (stdout)：编号为 1。这是程序的“主输出口”，用于显示程序的正常执行结果，默认连接到我们的终端屏幕。
• 标准错误 (stderr)：编号为 2。这是程序的“错误输出口”，用于显示错误或警告信息，默认也连接到终端屏幕。

管道 (Piping) 和 重定向 (Redirection) 就是我们用来控制这些数据流流向的工具，我们可以将它们连接到文件或其他程序，实现各种有趣且实用的数据操作。

重定向：控制数据的来源和去向

1. 输出重定向到文件 (> 和 >>)

通常，命令的执行结果会直接显示在屏幕上。但有时，我们希望将这些结果保存到文件中，以便日后查看、存档或用作其他程序的输入。

>：覆盖写入

大于号 (>) 会将程序的标准输出 (stdout) 保存到一个文件中。如果文件不存在，系统会自动创建它；如果文件已存在，其原有内容将被清空，然后写入新的内容。

示例：

# 1. 查看当前目录下的文件
$ ls
barry.txt  bob  example.png  firstfile  foo1  video.mpeg

# 2. 将 ls 命令的输出保存到 myoutput.txt 文件中
#    注意：此时屏幕上不会显示任何输出
$ ls > myoutput.txt

# 3. 再次查看目录，发现新文件已创建
$ ls
barry.txt  bob  example.png  firstfile  foo1  myoutput.txt  video.mpeg

# 4. 查看 myoutput.txt 的内容
$ cat myoutput.txt
barry.txt
bob
example.png
firstfile
foo1
myoutput.txt
video.mpeg

观察与思考：
您可能注意到了，直接在终端运行 ls 时，文件名是横向排列的，而重定向到文件后，文件名变成了每行一个。这是因为程序在输出到终端时，会根据屏幕宽度进行格式化；而输出到文件或管道时，为了方便后续的程序处理，通常会采用更通用的格式（如每行一项）。

>>：追加写入

如果我们不想覆盖文件的原有内容，而是想在文件末尾添加新内容，可以使用双大于号 (>>)。

示例：

# 1. 先用 wc 命令统计一个文件的行数，并将结果覆盖写入 myoutput.txt
$ wc -l barry.txt > myoutput.txt
$ cat myoutput.txt
7 barry.txt

# 2. 现在，将 ls 的输出追加到 myoutput.txt 文件末尾
$ ls >> myoutput.txt

# 3. 查看文件内容，可以看到新旧内容都在
$ cat myoutput.txt
7 barry.txt
barry.txt
bob
example.png
firstfile
foo1
myoutput.txt
video.mpeg

2. 输入重定向 (<)

小于号 (<) 的作用与 > 相反，它将文件的内容作为程序的标准输入 (stdin)。

许多命令（如 wc, cat）可以直接接受文件名作为参数来处理文件。那么为什么还需要输入重定向呢？下面的例子揭示了一个细微但有用的差别：

# 方式一：使用文件名作为参数
$ wc -l myoutput.txt
8 myoutput.txt

# 方式二：使用输入重定向
$ wc -l < myoutput.txt
8

注意到区别了吗？当使用输入重定向时，wc 命令只输出了行数 8，而没有显示文件名。这是因为，通过重定向，数据是“匿名”地被送入程序的。wc 只知道收到了一堆数据，但并不知道这些数据来自哪个文件，因此它无法打印文件名。这个特性在编写脚本时非常有用，可以帮助我们获得更纯净、不含附加信息的输出。

3. 错误重定向 (2>)

默认情况下，标准错误 (stderr) 和标准输出 (stdout) 都会显示在屏幕上。如果我们想把错误信息单独保存起来，就需要重定向 stderr。由于 stderr 的编号是 2，我们可以使用 2> 操作符。

示例：

# 尝试列出两个文件，其中 blah.foo 不存在
$ ls -l video.mpg blah.foo
ls: cannot access 'blah.foo': No such file or directory
-rw-r--r-- 1 user user 1024 Sep 4 15:42 video.mpg

# 现在，将错误信息重定向到 errors.txt 文件
# 终端上只会显示正常输出
$ ls -l video.mpg blah.foo 2> errors.txt
-rw-r--r-- 1 user user 1024 Sep 4 15:42 video.mpg

# 查看 errors.txt 的内容
$ cat errors.txt
ls: cannot access 'blah.foo': No such file or directory

4. 合并输出流

有时，我们希望将正常输出和错误信息都保存到同一个文件中。这可以通过 > file 2>&1 的语法实现。

它的含义是：

1. > myoutput.txt：首先，将标准输出 (stdout, 编号1) 重定向到 myoutput.txt 文件。
2. 2>&1：然后，将标准错误 (stderr, 编号2) 重定向到标准输出 (stdout, 编号1) 当前所在的位置。因为 stdout 已经被重定向到了文件，所以 stderr 也就跟着被重定向到了同一个文件。

示例：

$ ls -l video.mpg blah.foo > myoutput.txt 2>&1

$ cat myoutput.txt
ls: cannot access 'blah.foo': No such file or directory
-rw-r--r-- 1 user user 1024 Sep 4 15:42 video.mpg

注意：2>&1 必须放在 > 之后，顺序很重要。

管道：连接命令的流水线 (|)

管道符 (|) 是一个非常强大的工具，它将左边命令的标准输出 (stdout) 直接作为右边命令的标准输入 (stdin)。这就像建立了一条流水线，数据在一个个命令之间流动并被加工处理。

示例 1：只列出目录中的前 3 个文件

# 1. ls 的输出是所有文件
$ ls
barry.txt  bob  example.png  firstfile  foo1  myoutput.txt  video.mpeg

# 2. ls 的输出通过管道传给 head -3，head 只取前 3 行
$ ls | head -3
barry.txt
bob
example.png

我们可以连接任意多个管道，构建复杂的处理流程。

示例 2：只列出目录中的第 3 个文件

# ls 的输出 -> head 取前3个 -> tail 取最后一个 (也就是第3个)
$ ls | head -3 | tail -1
example.png

一个重要的建议：
在构建复杂的管道命令时，请分步构建。先运行第一个命令，确认其输出是你想要的；然后加上管道和第二个命令，再次检查输出；以此类推。这样做可以帮你快速定位问题，避免在一条长长的命令中迷失方向。

更多实战范例

管道和重定向的组合可以实现无数种可能。以下是一些经典范例，它们都使用了我们之前学过的命令。你可以查阅 man 手册了解其中一些新的参数，并尝试分步执行它们，理解每一步的作用。

1. 查看 /etc 目录内容，并按名称排序（目录优先）

# ls -l /etc:  详细列出 /etc 目录内容
# tail -n +2: 从第二行开始输出 (跳过 ls -l 的总用量那一行)
# sort:       对输入内容进行排序
$ ls -l /etc | tail -n +2 | sort
... (输出已排序的列表)

2. 使用 less 分页查看大量输出

如果一个命令的输出内容很长，一屏显示不完，可以将其通过管道传给 less。

$ ls -l /etc | less
# (此时会进入 less 的交互界面，你可以用上下箭头或PageUp/PageDown滚动查看)

3. 统计项目中每个用户拥有的文件数量

这是一个非常经典的组合，展示了管道的强大威力。

# 假设我们想统计 /projects/ghosttrail 目录中每个用户的文件数
$ ls -l /projects/ghosttrail | tail -n +2 | sed 's/\s\s*/ /g' | cut -d ' ' -f 3 | sort | uniq -c
   8 anne
  34 harry
  18 ryan
  37 tina

让我们拆解一下这个命令：

• ls -l /projects/ghosttrail: 列出文件的详细信息。
• tail -n +2: 去掉第一行的总计信息。
• sed 's/\s\s*/ /g': 将多个连续的空格替换为单个空格，方便 cut 处理。
• cut -d ' ' -f 3: 以空格为分隔符，提取第 3 列（即用户名）。
• sort: 对用户名列表进行排序，这是 uniq 正确工作的前提。
• uniq -c: 统计每个用户名连续出现的次数，并输出次数和用户名。

总结

动手练习

现在，让我们来实践一下：

1. 尝试将不同命令（如 date, pwd, whoami）的输出保存到同一个文件中。分别使用覆盖 (>) 和追加 (>>) 方式，并使用绝对路径和相对路径来指定文件。
2. 挑战一下：只列出 /etc 目录中，按字母顺序倒数第 20 个文件或目录的名称。
3. 最后，统计一下在你的主目录 (~) 下，有多少个文件和目录是你拥有执行权限的？（提示：ls -l 的输出中，权限部分的 x 代表执行权限）。