linux下取出两个文本文件中相同的行或不同的行,计算行数,排除重复行等

1.  两个文本文件，现在想取出其中的相同的行或不同的行，可以以下操作:(比如文件a.txt和文件b.txt)

grep -wf a.txt b.txt   (取出相同的行)

grep -wvf a.txt b.txt   (取出不相同的行)

 

2.  如果要计算取出的行一共多少行？ 如下：

grep -wf a.txt b.txt  | wc -l   (相同的行一共有多少行)

 

3. 如果a.txt有重复行数据，可以使用下面命令过滤并产生新文件a1.txt，然后再用上面的方法比较

sort a.txt | uniq -c | sort -rn | cut -c 9-  > a1.txt  (sort先排序，uniq再计数，sort -rn再按重复数量倒序, cut再截取，后导出)