sort -u имя_файла



или sort имя_файла | uniq