Cómo eliminar las líneas duplicadas en Unix

El entorno de shell Unix está diseñado para la lectura y la manipulación de archivos de texto ( entre otras tareas ) . Los archivos de configuración , scripts y código fuente son simples archivos de texto que se puede leer en cualquier editor de texto. Por esa razón , hay comandos para tareas tales como la combinación de archivos , la eliminación de líneas y columnas, y la búsqueda de información . Mediante la combinación de comandos de shell con los lenguajes de script " awk " y "sed ", puede realizar tareas de edición de alto nivel, como la eliminación de las líneas duplicadas de uno o más archivos de texto, desde la línea de comandos sin tener que abrir un editor de texto. Cosas que necesitará
Unix
Mostrar más instrucciones
archivo se pueden ordenar alfabéticamente
1

Haga una copia de seguridad del archivo que se está trabajando: documento cp . txt document.txt.bkup
2

Emita el mandato : sort -u comando document.txtThis ordenará el archivo y eliminar todas las líneas duplicadas
3

. Quite las líneas en blanco con el comando : uniq Document.txt
archivo no se pueden ordenar alfabéticamente
4

Hacer una copia de seguridad : cp Document.txt document.txt.bkup
5

Emita el siguiente comando awk : awk ' ($ 0 en a) {a [$ 0]; print} ' Document.txt > entradas únicas unique.txtYour se pueden encontrar en el archivo con el nombre unique.txt
6

Cambie el nombre del archivo de texto con la única lines.cp unique.txt document.txtThis pone las entradas únicas de nuevo en el archivo original.
combinar dos los archivos y busque las líneas duplicadas
7

Hacer una copia de seguridad : cp Document.txt document.txt.bkup
8

ejecute el comando: cat doc1.txt doc2 . txt > comando combine.txtThis combina doc1.txt y doc2.txt en el archivo combine.txt
9

Retire la lines.Use duplicado tanto el comando awk especificado anteriormente clasificar y comandos uniq o .