Tenho um arquivo texto que é resultado de uma consluta a um banco de
dados. Porém, este arquivo tem vários dados duplicados porquê os
registros estavam corrompidos, e preciso remover estes dados para
refazer a database. A estrutura do arquivo é a seguinte:
dado1
dado1
dado2
dado2
dado3
dado4
dado5
dado5
Como fazer para "limpar" este arquivo, eliminando as linhas repetidas???
Tentei com o sed, mas não vi na manpage dele uma sintaxe que fizesse
isso. O arquivo em questão tem umas 10000 linhas ...
--
"Esta mensagem, incluindo seus anexos, não contém nenhuma
informação confidencial, pois se é para ser confidencial
não poderia ser transitada por e-mail em uma lista pública.
Portanto, se você não é o destinatário final da mensagem, não
se preocupe! Além disso você pode fazer qualquer coisa com
esta mensagem, incluíndo esta sátira à notas de copyrights
ridiculas, que eu não estou nem aí!!!"
