uniqコマンド

ソートされているファイルの繰り返し情報を削除する
テキストファイルから重複する行を削除する

例 test.txt
test1
test1
test2
test3
は
uniq test.txt
test1
test2
test3

• u 非反復行だけ表示
• d 反復行だけを1行ずつ表示(重複行を見つける)
• c 各行の出現回数だけを表示

uniq -c test.txt

• f 最初のn個のフィールドを無視
• n 特定のフィールドが重複している行を表示(行の一部だけが重複しているか)

uniq -n2 filename

psコマンドで例
ps -ef|uniq