2.9排序、唯一与重复

2.9排序、唯一与重复

sort命令能够帮助我们队文本文件和stdin进行排序操作。它通常会配合其他命令来生成所需要的输出。uniq是一个经常与sort一同使用的命令。它的作用是从文本或stdin中提取唯一(或重复)的行。

1、sort命令既可以从特定的文件，也可以从stdin中获取输入，并将输出写入stdout。uniq和sort的工作方式一样。

a、可以按照下面的方式对一组文件进行排序：

$sort file1.txt file2.txt >sorted.txt

或是

$ sort file1.txt file2.txt -o sorted.txt

b、按照数字顺序进行排序：

$ sort -n file.txt

c、按照逆序进行排序：

$ sort -r file.txt

d、按照月份进行排序

$sort -M months.txt

e、合并两个已排序过的文件;

$sort -m sorted1 sorted2

f、找出已排序文件中不重复的行：

$sort file1.txt file2.txt | uniq

g、检查文件是否已经排序过

#!/bin/bash

#功能描述：排序

sort -C filename;

if [ $? -eq 0 ] ; then

echo Sorted;

else

echo Unsorted;

fi

将filename替换成你需要进行检查的文件名，然后运行该脚本。

2、工作原理

sort命令包含大量的选项，能够对文件数据进行各种排序。如果使用uniq命令，那sort更是必不可少，因为前者要求输入数据必须经过排序。

要检查文件是否排序过，可以采用以下方法：如果文件已经排序，sort会返回为0的退出码($?)，否则返回非0.

3、补充内容

a、依据键或列进行排序

按列将下面的文本排序

$ cat data.txt

1 mac  2000

2 winxp 4000

3 bsd   1000

4 linux  1000

有多重方法对这段文本进行排序。目前它是按照序号第一列来排序的。也可以依据第二列和第三列来排序。

-k指定了排序应该按照哪一个键(key)来进行。键指的是列号，而列号就是执行排序时的依据。-r 告诉sort命令按照逆序进行排序。如

eg;依据第一列，以逆序形式排序

$ sort -nrk 1 data.txt

其中，-nr表明按照数字，采用逆序形式排序

依据第2列进行排序

$sort -k 2 data.txt

注意：一定要留意用于按数字顺序进行排序的选项-n。sort命令对于字母表排序和数字排序有不同的处理方式。因此，如果要采用数字顺序排序，就应该明确地给出-n选项。

通常在默认情况下，键就是文本文件中的列。列与列之间用空格分隔。

但有时候，我们需要将特定范围内的一组字符（如：key1=character4-character8）作为键。在这种情况下，必须明确地将键指定为某个范围内的字符，这个范围可以用键起止的字符位置来表明。如：

$cat data.txt

1010hellothis

2189ababbba

7464dfddfdfd

$sort -nk 2,3 data.txt

把醒目的字符作为数值键。为了提取这个键，用字符在行内的起止位置作为键的书写格式（在上面的例子中，起止位置是2和3）.

用第一个字符作为键：

$sort -nk 1,1 data.txt

为了使sort的输出与以\0作为终止符的xargs命令相兼容，采用下面的命令：

$sort -z data.txt | xargs -0

#终止符\0用来保证xargs命令的使用安全

如果要忽略掉文本中的空格，以字典序进行排序，可以使用：

$sort -bd unsorted.txt

其中，选项-b用于忽略文件中的前导空白行，选项-d用于指明以字典序进行排序。

2、uniq

uniq命令通过消除重复内容，从给定输入中（stdin或命令行参数文件）找出唯一的行。它也可以用来找出输入中出现的重复行。

uniq只能作用于排过序的数据输入，因此，uniq要么使用管道，要么将排过序的文件作为输入，与sort命令结合使用。

eg：

$cat sorted.txt

bash

foss

hack

hack

$uniq sorted.txt

bash

foss

hack

或是$sort unsorted.txt | uniq

只显示唯一的行(在输入文件中没有重复出现的行)

$uniq -u sorted.txt

bash

foss

或是$sort unsorted.txt |uniq -u

要统计各行在文件中出现的次数，使用

$sort unsorted.txt |uniq -c

1 bash

1 foss

2 hack

找出文件中重复的行

$sort unsorted.txt |uniq -d

hack

可以结合-s 和-w来指定键：

-s指定可以跳过前n个字符；

-w指定用于比较的最大字符数。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。