Remover linhas duplicadas
Duplicate Line Remover
Remove linhas duplicadas, mantém só as duplicadas ou conta quantas vezes cada linha apareceu.
Remove as linhas repetidas de uma lista, ou mostra só as que se repetem — com as regras de comparação explícitas em vez de adivinhadas. Espaços no fim das linhas e a normalização Unicode são as duas razões pelas quais duas linhas que parecem idênticas sobrevivem, as duas, a uma deduplicação comum.
Linhas
Regras
Mantém a primeira cópia de cada linha. A lista, sem repetições.
A comparação acontece depois da normalização Unicode, então um “ç” ou um “ã” copiado de um Mac casa com o mesmo digitado no Windows: parecem idênticos e são sequências de bytes diferentes.
Resultado
Linhas na entrada
6
Distintas
3
Repetidas
2
Linhas na saída
3
Como usar
Cole a lista
Um valor por linha — endereços de e-mail, números de pedido, nomes tirados de uma coluna de planilha.
Escolha o que manter
A lista sem repetidos, só os valores que apareceram exatamente uma vez, ou só os que se repetiram. O último é o que você quer quando os duplicados são o problema, e não o ruído.
Defina as regras de comparação
Distinguir maiúsculas e os espaços ao redor são as duas que mais mudam a resposta. Ligar as contagens mostra quantas vezes cada valor apareceu, que é outra pergunta e muitas vezes a de verdade.
Perguntas frequentes
Dois nomes idênticos foram mantidos
Confira primeiro os espaços no fim — ligue “ignorar espaços ao redor”. Se não é isso, os dois são sequências de bytes diferentes que se desenham igual, que é para o que existe a normalização Unicode; esta ferramenta já compara depois de normalizar, então um “Gonçalves” digitado num Mac bate com um digitado no Windows.
Ele mantém a ordem original?
Sim. A primeira cópia de cada valor fica onde estava; as seguintes vão embora. Nada é ordenado, a menos que você leve o resultado ao ordenador de linhas.
Posso deduplicar por uma coluna de um CSV?
Aqui não — isto compara linhas inteiras. O deduplicador de CSV faz isso por coluna-chave e mantém o resto da linha intacto, que é o que você quer para dados tabulares.
Pode receber de
Ordenar e embaralhar linhas
Line Sorter & Shuffler
Ordena linhas em ordem alfabética, numérica, por comprimento ou aleatória, com opções de inverter e de maiúsculas.
Limpar espaços em branco
Whitespace Cleaner
Remove espaços no fim das linhas, junta sequências de espaços, converte tabulações e apaga linhas vazias.
Formatador de listas
List Formatter
Transforma linhas numa lista separada por vírgulas, cláusula SQL IN entre aspas, array JSON ou lista com marcadores, e o inverso.
Extrator de padrões
Pattern Extractor
Puxa cada e-mail, URL, número, data ou ocorrência de uma regex sua de um bloco de texto para uma lista.
Em seguida
Estas aceitam o que esta ferramenta produz, então o resultado pode ir direto.
Remover duplicados de CSV
CSV Deduplicator
Remove linhas duplicadas por todas ou por algumas colunas-chave, mantendo a primeira, a última ou a mais completa.
Formatador de listas
List Formatter
Transforma linhas numa lista separada por vírgulas, cláusula SQL IN entre aspas, array JSON ou lista com marcadores, e o inverso.
Ordenar e embaralhar linhas
Line Sorter & Shuffler
Ordena linhas em ordem alfabética, numérica, por comprimento ou aleatória, com opções de inverter e de maiúsculas.
Frequência de palavras
Word Frequency
Conta quantas vezes cada palavra ou n-grama aparece, com tokenização ciente do coreano e uma lista de stopwords.
Localizar e substituir
Find & Replace
Substitui texto por valor literal, palavra inteira ou expressão regular, com grupos de captura e prévia de cada ocorrência.
Editor de Markdown
Markdown Editor
Edita Markdown com prévia ao vivo e exporta o HTML renderizado, com tabelas e listas de tarefas do GFM.