Galera, boa tarde!
Estou trabalhando com um arquivo TXT (mensal) que possui aproximadamente 4,5GB cada - para um período anual (12 x 4,5GB), porém existem linhas duplicadas que poderão ser localizadas em um arquivo e no outro. Necessito montar um único arquivo com estas informações.
Não tenho problema na carga, fiz um teste com um semestre e consegui subir as informações no servidor (ambiente de teste). Agora preciso apagar as linhas DUPLICADAS (duplicidade).
Alguma sugestão para montar o script? Existe a possibilidade de criar alguma chave para agilizar o processo?
/* Vale lembrar que subi estas informações atrás de FMT. e existem 9campos na tabela (campo1, campo2, campo3... campo9) */
Qualquer ajuda será bem vinda!
Abraços!
.Fabri
