shell高效处理文本(1)：xargs并行处理

xargs具有并行处理的能力，在处理大文件时，如果应用得当，将大幅提升效率。

xargs详细内容(全网最详细)：https://www.cnblogs.com/f-ck-need-u/p/5925923.html
<https://www.cnblogs.com/f-ck-need-u/p/5925923.html#auto_id_17>

效率提升测试结果

先展示一下使用xargs并行处理提升的效率，稍后会解释下面的结果。

测试环境：

* win10子系统上

* 32G内存

* 8核心cpu

* 测试对象是一个放在固态硬盘上的10G文本文件(如果你需要此测试文件，点此下载
<https://pan.baidu.com/s/1l17GJl0tTBFjDfZ_fRxDqA>，提取码: semu)
下面是正常情况下wc -l统计这个10G文件行数的结果，花费16秒，多次测试，cpu利用率基本低于80%。
$ /usr/bin/time wc -l 9.txt 999999953 9.txt 4.56user 3.14system 0:16.06elapsed
47%CPU (0avgtext+0avgdata 740maxresident)k 0inputs+0outputs
(0major+216minor)pagefaults 0swaps
通过分割文件，使用xargs的并行处理功能进行统计，花费时间1.6秒，cpu利用率752%：
$ /usr/bin/time ./b.sh 999999953 7.67user 4.54system 0:01.62elapsed 752%CPU
(0avgtext+0avgdata 1680maxresident)k 0inputs+0outputs
(0major+23200minor)pagefaults 0swaps
用grep从这个10G的文本文件中筛选数据，花费时间24秒，cpu利用率36%：
$ /usr/bin/time grep "10000" 9.txt >/dev/null 6.17user 2.57system
0:24.19elapsed 36%CPU (0avgtext+0avgdata 1080maxresident)k 0inputs+0outputs
(0major+308minor)pagefaults 0swaps
通过分割文件，使用xargs的并行处理功能进行统计，花费时间1.38秒，cpu利用率746%：
$ /usr/bin/time ./a.sh 6.01user 4.34system 0:01.38elapsed 746%CPU
(0avgtext+0avgdata 1360maxresident)k 0inputs+0outputs
(0major+31941minor)pagefaults 0swaps
速度提高的不是一点点。

xargs并行处理简单示例

要使用xargs的并行功能，只需使用"-P N"选项即可，其中N是指定要运行多少个并行进程，如果指定为0，则使用尽可能多的并行进程数量。

需要注意的是：

* 既然要并行，那么xargs必须得分批传送管道的数据，xargs的分批选项有"-n"、"-i"、"-L"，如果不知道这些内容，看本文开头给出的文章。

*
并行进程数量应该设置为cpu的核心数量。如果设置为0，在处理时间较长的情况下，很可能会并发几百个甚至上千个进程。在我测试一个花费2分钟的操作时，创建了500多个进程。

* 在本文后面，还给出了其它几个注意事项。
例如，一个简单的sleep命令，在不使用"-P"的时候，默认是一个进程按批的先后进行处理：
[root@xuexi ~]# time echo {1..4} | xargs -n 1 sleep real 0m10.011s user
0m0.000s sys 0m0.011s
总共用了10秒，因为每批传一个参数，第一批睡眠1秒，然后第二批睡眠2秒，依次类推，还有3秒、4秒，共1+2+3+4=10秒。

如果使用-P指定4个处理进程，它将以处理时间最长的为准：
[root@xuexi ~]# time echo {1..4} | xargs -n 1 -P 4 sleep real 0m4.005s user
0m0.000s sys 0m0.007s
再例如，find找到一大堆文件，然后用grep去筛选：
find /path -name "*.log" | xargs -i grep "pattern" {} find /path -name "*.log"
| xargs -P 4 -i grep "pattern" {}

上面第一个语句，只有一个grep进程，一次处理一个文件，每次只被其中一个cpu进行调度。也就是说，它无论如何，都只用到了一核cpu的运算能力，在极端情况下，cpu的利用率是100%。


上面第二个语句，开启了4个并行进程，一次可以处理从管道传来的4个文件，在同一时刻这4个进程最多可以被4核不同的CPU进行调度，在极端情况下，cpu的利用率是400%。

并行处理示例

下面是文章开头给出的实验结果对应的示例。一个10G的文本文件9.txt，这个文件里共有9.9亿(具体的是999999953)行数据。

首先一个问题是，怎么统计这么近10亿行数据的？wc -l，看看时间花费。
$ /usr/bin/time wc -l 9.txt 999999953 9.txt 4.56user 3.14system 0:16.06elapsed
47%CPU (0avgtext+0avgdata 740maxresident)k 0inputs+0outputs
(0major+216minor)pagefaults 0swaps
总共花费了16.06秒，cpu利用率是47%。

随后，我把这10G数据用split切割成了100个小文件，在提升效率方面，split切割也算是妙用无穷：
split -n l/100 -d -a 3 9.txt fs_
这100个文件，每个105M，文件名都以"fs_"为前缀：
$ ls -lh fs* | head -n 5 -rwxrwxrwx 1 root root 105M Oct 6 17:31 fs_000
-rwxrwxrwx 1 root root 105M Oct 6 17:31 fs_001 -rwxrwxrwx 1 root root 105M Oct
6 17:31 fs_002 -rwxrwxrwx 1 root root 105M Oct 6 17:31 fs_003 -rwxrwxrwx 1 root
root 105M Oct 6 17:31 fs_004
然后，用xargs的并行处理来统计，以下是统计脚本b.sh的内容：
#!/usr/bin/env bash find /mnt/d/test -name "fs*" |\ xargs -P 0 -i wc -l {} |\
awk '{sum += $1}END{print sum}'
上面用-P 0
选项指定了尽可能多地开启并发进程数量，如果要保证最高效率，应当设置并发进程数量等于cpu的核心数量(在我的机器上，应该设置为8)，因为在操作时间较久的情况下，可能会并行好几百个进程，这些进程之间进行切换也会消耗不少资源。

然后，用这个脚本去统计测试：
$ /usr/bin/time ./b.sh 999999953 7.67user 4.54system 0:01.62elapsed 752%CPU
(0avgtext+0avgdata 1680maxresident)k 0inputs+0outputs
(0major+23200minor)pagefaults 0swaps
只花了1.62秒，cpu利用率752%。和前面单进程处理相比，时间是原来的16分之1，cpu利用率是原来的好多好多倍。

再来用grep从这个10G的文本文件中筛选数据，例如筛选包含"10000"字符串的行：
$ /usr/bin/time grep "10000" 9.txt >/dev/null 6.17user 2.57system
0:24.19elapsed 36%CPU (0avgtext+0avgdata 1080maxresident)k 0inputs+0outputs
(0major+308minor)pagefaults 0swaps
24秒，cpu利用率36%。

再次用xargs来处理，以下是脚本：
#!/usr/bin/env bash find /mnt/d/test -name "fs*" |\ xargs -P 8 -i grep "10000"
{} >/dev/null
测试结果：
$ /usr/bin/time ./a.sh 6.01user 4.34system 0:01.38elapsed 746%CPU
(0avgtext+0avgdata 1360maxresident)k 0inputs+0outputs
(0major+31941minor)pagefaults 0swaps
花费时间1.38秒，cpu利用率746%。

这比用什么ag、ack替代grep有效多了。

提升哪些效率以及注意事项

xargs并行处理用的好，能大幅提升效率，但这是有条件的。

首先要知道，xargs是如何提升效率的，以grep命令为例：
ls fs* | xargs -i -P 8 grep 'pattern' {}

之所以xargs能提高效率，是因为xargs可以分批传递管道左边的结果给不同的并发进程，也就是说，xargs要高效，得有多个文件可处理。对于上面的命令来说，ls可能输出了100个文件名，然后1次传递8个文件给8个不同的grep进程。

还有一些注意事项：

1.如果只有单核心cpu，想提高效率，没门
2.xargs的高效来自于处理多个文件，如果你只有一个大文件，那么需要将它切割成多个小片段
3.由于是多进程并行处理不同的文件，所以命令的多行输出结果中，顺序可能会比较随机

例如，统计行数时，每个文件的出现顺序是不受控制的。
10000000 /mnt/d/test/fs_002 9999999 /mnt/d/test/fs_001 10000000
/mnt/d/test/fs_000 10000000 /mnt/d/test/fs_004 9999999 /mnt/d/test/fs_005
9999999 /mnt/d/test/fs_003 10000000 /mnt/d/test/fs_006 9999999
/mnt/d/test/fs_007
不过大多数时候这都不是问题，将结果排序一下就行了。


4.xargs提升效率的本质是cpu的利用率，因此会有内存、磁盘速度的瓶颈。如果内存小，或者磁盘速度慢(将因为加载数据到内存而长时间处于io等待的睡眠状态)，xargs的并行处理基本无效
。


例如，将上面10G的文本文件放在虚拟机上，机械硬盘，内存2G，将会发现使用xargs并行和普通的命令处理几乎没有差别，因为绝大多数时间都花在了加载文件到内存的io等待上。

下一篇文章将介绍GNU parallel并行处理工具，它的功能更丰富，效果更强大。

• « 上一篇：Web开发系列知识汇总
• » 下一篇：Linux之SSH协议详解